移动端舌象采集方法、装置及设备发明专利

专利名称：移动端舌象采集方法、装置及设备

专利类型：发明专利

专利申请号：CN202110631540.X

专利申请（专利权）人：博奥生物集团有限公司
权利人地址：北京市昌平区生命科学园路18号

专利发明（设计）人：王文君,朱婷,侯建伟,王东,苏登高,刘雪瑞,程京

专利摘要：本发明公开了一种移动端舌象采集方法、装置及设备，该方法包括：响应于目标对象通过移动端的后置摄像头进行舌象拍摄，采集初始舌象图像；基于图像识别模型对初始舌象图像进行检测，获得检测结果，图像识别模型为基于舌象训练样本训练得到的模型，且图像识别模型能够识别出舌象图像的舌部区域；确定检测结果是否满足目标采集条件，如果是将满足目标采集条件的舌象图像进行存储；如果否，生成调整提示信息，以使得基于所述调整提示信息获得满足所述目标采集条件的舌象图像；在满足目标采集条件的舌象图像中确定目标舌象图像。本发明实现了移动端采集舌象的便捷高效性及提升了图像采集的精准度。

主权利要求：
1.一种移动端舌象采集方法，其特征在于，包括：响应于目标对象通过移动端的后置摄像头进行舌象拍摄，采集初始舌象图像；
基于图像识别模型对所述初始舌象图像进行检测，获得检测结果，所述图像识别模型为基于舌象训练样本训练得到的模型，且所述图像识别模型能够识别出舌象图像的舌部区域；
确定所述检测结果是否满足目标采集条件，如果是，将满足目标采集条件的舌象图像进行存储；
如果否，生成调整提示信息，以使得基于所述调整提示信息获得满足所述目标采集条件的舌象图像；
在满足所述目标采集条件的舌象图像中确定目标舌象图像；
其中，基于舌象训练样本训练得到图像识别模型，包括：获取舌象图像集，并对所述舌象图像集中的每一舌象图像进行特征标注，得到标注后的舌象图像集；
对所述标注后的舌象图像集进行模型训练，获得图像识别模型，其中，所述图像识别模型具有能够输出舌象图像的舌部区域以及所述舌部区域对应的类别信息；所述舌部区域包括背景、舌上类别对应的舌部区域、舌下类别对应的舌部区域；所述类别信息包括全背景图像，舌上好，舌上不好，舌下好，舌下不好；
其中，所述基于图像识别模型对所述初始舌象图像进行检测，获得检测结果，包括：基于所述图像识别模型对所述初始舌象图像进行识别，获得舌部区域以及所述舌部区域对应的类别信息；
计算所述舌部区域的形态特征，得到计算结果；所述形态特征包括：舌上或舌下区域的位置、大小、姿态、清晰度；
将所述计算结果确定为检测结果。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：响应于目标对象通过所述调整提示信息进行调整后拍摄，采集得到调整后的舌象图像；
检测所述舌象图像是否满足所述目标采集条件，如果否，生成提示信息；
若生成提示信息次数大于次数阈值，且拍摄获得的舌象图像不满足目标采集条件，在拍摄获得的舌象图像中确定与所述目标采集条件匹配度最高的舌象图像为目标舌象图像。
3.根据权利要求1所述的方法，其特征在于，所述生成调整提示信息包括：生成针对目标对象姿态调整的提示信息；
和/或，
生成调整移动端后置摄像头的提示信息。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：对所述目标舌象图像进行特征分析，获得舌象特征分析结果。
5.根据权利要求1所述的方法，其特征在于，所述在满足所述目标采集条件的舌象图像中确定目标舌象图像，包括：响应于获得满足目标采集条件的舌象图像，生成拍摄提示信息，所述拍摄提示信息用于提示用户是否重新拍摄；
接收与所述拍摄提示信息对应的触发指令，对所述触发指令进行解析，得到解析结果；
若所述解析结果为重新拍摄，采集重新拍摄后的舌象图像；
若所述解析结果为不重新拍摄，将满足目标条件的舌象图像确定为目标舌象图像。
6.根据权利要求1所述的方法，其特征在于，所述采集初始舌象图像，包括：确定第一拍摄类别，采集与所述第一拍摄类别对应的初始舌象图像；
响应于获取到与所述第一拍摄类别相匹配的目标舌象图像，检测是否有第二拍摄类别；
如果有，采集与所述第二拍摄类别相匹配的初始舌象图像。
7.一种移动端舌象采集装置，其特征在于，包括：采集单元，用于响应于目标对象通过移动端的后置摄像头进行舌象拍摄，采集初始舌象图像；
检测单元，用于基于图像识别模型对所述初始舌象图像进行检测，获得检测结果，所述图像识别模型为基于舌象训练样本训练得到的模型，且所述图像识别模型能够识别出舌象图像的舌部区域；
第一确定单元，用于确定所述检测结果是否满足目标采集条件，如果是将满足目标采集条件的舌象图像进行存储；
生成单元，用于如果否，生成调整提示信息，以使得基于所述调整提示信息获得满足所述目标采集条件的舌象图像；
第二确定单元，用于在满足所述目标采集条件的舌象图像中确定目标舌象图像；
其中，基于舌象训练样本训练得到图像识别模型，包括：获取舌象图像集，并对所述舌象图像集中的每一舌象图像进行特征标注，得到标注后的舌象图像集；
对所述标注后的舌象图像集进行模型训练，获得图像识别模型，其中，所述图像识别模型具有能够输出舌象图像的舌部区域以及所述舌部区域对应的类别信息；所述舌部区域包括背景、舌上类别对应的舌部区域、舌下类别对应的舌部区域；所述类别信息包括全背景图像，舌上好，舌上不好，舌下好，舌下不好；
其中，所述基于图像识别模型对所述初始舌象图像进行检测，获得检测结果，包括：基于所述图像识别模型对所述初始舌象图像进行识别，获得舌部区域以及所述舌部区域对应的类别信息；
计算所述舌部区域的形态特征，得到计算结果；所述形态特征包括：舌上或舌下区域的位置、大小、姿态、清晰度；
将所述计算结果确定为检测结果。
8.一种移动端舌象采集设备，其特征在于，包括：存储器，用于存储程序；
处理器，用于执行所述程序，所述程序具体用于实现如权利要求1‑6中任意一项所述的移动端舌象采集方法。 说明书 : 移动端舌象采集方法、装置及设备技术领域[0001] 本发明涉及信息采集技术领域，特别是涉及一种移动端舌象采集方法、装置及设备。背景技术[0002] 舌诊作为中医望诊中重要组成部分，具有重要的研究意义。伴随着远程医疗的发展，在远程舌诊过程中，首先要获得高质量、清晰的舌象，才能辅助医生输出正确的诊断结果。[0003] 目前，存在多种针对移动端的舌诊应用程序，这些舌诊应用程序需要用户手动拍摄或者选择本地舌象图片上传至云端系统，然后由系统给出对应的辨识结果。当用户通过对应的舌诊应用程序进行舌象拍摄时，会存在拍摄的图像精度低，并且由于对图像质量认知的不同会存在反复拍摄设置需要其他人辅助拍摄，这就使得通过移动端采集的舌象图像精度较差，并且采集效率也较低。发明内容[0004] 针对于上述问题，本发明提供一种移动端舌象采集方法、装置及设备，实现了移动端采集舌象的便捷高效性及提升了图像采集的精准度。[0005] 为了实现上述目的，本发明提供了如下技术方案：[0006] 一种移动端舌象采集方法，包括：[0007] 响应于目标对象通过移动端的后置摄像头进行舌象拍摄，采集初始舌象图像；[0008] 基于图像识别模型对所述初始舌象图像进行检测，获得检测结果，所述图像识别模型为基于舌象训练样本训练得到的模型，且所述图像识别模型能够识别出舌象图像的舌部区域；[0009] 确定所述检测结果是否满足目标采集条件，如果是将满足目标采集条件的舌象图像进行存储；[0010] 如果否，生成调整提示信息，以使得基于所述调整提示信息获得满足所述目标采集条件的舌象图像；[0011] 在满足所述目标采集条件的舌象图像中确定目标舌象图像。[0012] 可选的，所述方法还包括：[0013] 响应于目标对象通过所述调整提示信息进行调整后拍摄，采集得到调整后的舌象图像；[0014] 检测所述舌象图像是否满足所述目标采集条件，如果否，生成提示信息；[0015] 若生成提示信息次数大于次数阈值，且拍摄获得的舌象图像不满足目标采集条件，在拍摄获得的舌象图像中确定与所述目标采集条件匹配度最高的舌象图像为目标舌象图像。[0016] 可选的，所述基于图像识别模型对所述初始舌象图像进行检测，获得检测结果，包括：[0017] 基于所述图像识别模型对所述初始舌象图像进行识别，获得舌部区域；[0018] 计算所述舌部区域的形态特征，得到计算结果；[0019] 将所述计算结果确定为检测结果。[0020] 可选的，所述生成调整提示信息包括：[0021] 生成针对目标对象姿态调整的提示信息；[0022] 和/或，[0023] 生成调整移动端后置摄像头的提示信息。[0024] 可选的，所述方法还包括：[0025] 基于舌象训练样本，训练得到图像识别模型，包括：[0026] 获取舌象图像集，并对所述舌象图像集中的每一舌象图像进行特征标注，得到标注后的舌象图像集；[0027] 对所述标注后的舌象图像集进行模型训练，获得图像识别模型，其中，所述图像识别模型具有能够输出舌象图像的舌部区域以及所述舌部区域对应的类别信息。[0028] 可选的，所述方法还包括：[0029] 对所述目标舌象图像进行特征分析，获得舌象特征分析结果。[0030] 可选的，所述在满足所述目标采集条件的舌象图像中确定目标舌象图像，包括：[0031] 响应于获得满足目标采集条件的舌象图像，生成拍摄提示信息，所述拍摄提示信息用于提示用户是否重新拍摄；[0032] 接收与所述拍摄提示信息对应的触发指令，对所述触发指令进行解析，得到解析结果；[0033] 若所述解析结果为重新拍摄，采集重新拍摄后的舌象图像；[0034] 若所述解析结果为不重新拍摄，将满足目标条件的舌象图像确定为目标舌象图像。[0035] 可选的，所述采集初始舌象图像，包括：[0036] 确定第一拍摄类别，采集与所述第一拍摄类别对应的初始舌象图像；[0037] 响应于获取到与所述第一拍摄类别相匹配的目标舌象图像，检测是否有第二拍摄类别；[0038] 如果有，采集与所述第二拍摄类别相匹配的初始舌象图像。[0039] 一种移动端舌象采集装置，包括：[0040] 采集单元，用于响应于目标对象通过移动端的后置摄像头进行舌象拍摄，采集初始舌象图像；[0041] 检测单元，用于基于图像识别模型对所述初始舌象图像进行检测，获得检测结果，所述图像识别模型为基于舌象训练样本训练得到的模型，且所述图像识别模型能够识别出舌象图像的舌部区域；[0042] 第一确定单元，用于确定所述检测结果是否满足目标采集条件，如果是将满足目标采集条件的舌象图像进行存储；[0043] 生成单元，用于如果否，生成调整提示信息，以使得基于所述调整提示信息获得满足所述目标采集条件的舌象图像；[0044] 第二确定单元，用于在满足所述目标采集条件的舌象图像中确定目标舌象图像。[0045] 一种移动端舌象采集设备，包括：[0046] 存储器，用于存储程序；[0047] 处理器，用于执行所述程序，所述程序具体用于实现如上述中任意一项所述的移动端舌象采集方法。[0048] 相较于现有技术，本发明提供了一种移动端舌象采集方法、装置及设备，该方法包括：响应于目标对象通过移动端的后置摄像头进行舌象拍摄，采集初始舌象图像；基于图像识别模型对初始舌象图像进行检测，获得检测结果，图像识别模型为基于舌象训练样本训练得到的模型，且图像识别模型能够识别出舌象图像的舌部区域；确定检测结果是否满足目标采集条件，如果是将满足目标采集条件的舌象图像进行存储；如果否，生成调整提示信息，以使得基于所述调整提示信息获得满足所述目标采集条件的舌象图像；在满足目标采集条件的舌象图像中确定目标舌象图像。本发明实现了移动端采集舌象的便捷高效性及提升了图像采集的精准度。附图说明[0049] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。[0050] 图1为本发明实施例提供的一种移动端舌象采集方法的流程示意图；[0051] 图2为本发明实施例提供的一种区域识别的示意图；[0052] 图3为本发明实施例提供的一种舌象拍摄的应用流程图；[0053] 图4为本发明实施例提供的一种移动端舌象采集装置的结构示意图。具体实施方式[0054] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。[0055] 本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。[0056] 在本发明实施例中提供了一种移动端舌象采集方法，该方法是应用于移动终端设备上的，例如用户的手机，通过手机上的摄像头来采集用户的舌象图像，以进行后续分析。以手机为例的移动终端设备通常会包括两组摄像头，一组是前置摄像头，一组是后置摄像头，由于后置摄像头会具有辅助的光线调节等功能，所以后置摄像头拍摄的图像更加清晰。需要说明的是，为了提升采集的舌象图像的清晰度，在本发明实施例中是使用后置摄像头进行图像采集的，可以理解的是，所述后置摄像头表征移动端的拍摄图像清晰度最高的摄像头，例如，可以是像素最高的摄像头。[0057] 参见图1，本发明实施例提供的一种移动端舌象采集方法，可以包括以下步骤：[0058] S101、响应于目标对象通过移动端的后置摄像头进行舌象拍摄，采集初始舌象图像。[0059] 对于舌象的采集通常会包括两个类别，即舌上和舌下两个类别。当目标对象触发移动端的舌象采集应用时，系统会提示使用后置摄像头进行拍摄，此时移动端会采集目标对象拍摄的视频帧，每一视频帧对应一个初始舌象图像。[0060] S102、基于图像识别模型对初始舌象图像进行检测，获得检测结果。[0061] 其中，图像识别模型为基于舌象训练样本训练得到的模型，并且该图像识别模型能够识别出舌象图像的舌部区域。图像识别模型其实质是一种训练好的图像分类分割模型，利用该图像识别模型实时识别视频帧，即识别每一个初始舌象图像，识别出舌象类别同时给出舌部区域。参见图2，在图2左侧为实时采集到的视频帧，右侧为识别出的相对应的舌部区域。在图2中分别识别出了背景、舌上类别对应的舌部区域，舌下类别对应的舌部区域。[0062] S103、确定所述检测结果是否满足目标采集条件，如果是，执行步骤S104，如果否，执行步骤S105。[0063] S104、将满足目标采集条件的舌象图像进行存储。[0064] S105、生成调整提示信息，以使得基于所述调整提示信息获得满足所述目标采集条件的舌象图像。[0065] S106、在满足目标采集条件的舌象图像中确定目标舌象图像。[0066] 在步骤S102中获得了检测结果，该检测结果是通过图像识别模型获得的舌部区域，然后会基于该检测结果判断与检测结果对应的每一初始舌象图像是否满足目标采集条件，满足的存储，不满足的基于调整提示信息进行重新拍摄。其中，目标采集条件可以是通过定义满足可以进行舌象分析的图像参数对应的条件，如可以定义清晰度阈值等。为了判断检测结果是否满足目标采集条件，需要计算舌部区域的形态特征，如大小、中心、外边界矩形等参数，进一步可以利用梯度计算视频帧图像中舌部区域的清晰度，然后与目标采集条件进行比较。将满足目标采集条件的舌象图像进行存储。如果不满足，会生成对应的调整提示信息，可以通过语音播放的模式将调整提示信息输出给目标对象，以使得目标对象调整移动端位置或者自身的位置，来进行重新拍摄，以获得满足目标条件的舌象图像。[0067] 由于拍摄是实时的，在获得了满足目标条件的舌象图像后会进行相应的存储，然后可以在已存储的这些满足目标条件的舌象图像中选择最优的图像最为最终上传至云端或者被使用的目标舌象图像。[0068] 本发明实施例提供了一种移动端舌象采集，该方法包括：响应于目标对象通过移动端的后置摄像头进行舌象拍摄，采集初始舌象图像；基于图像识别模型对初始舌象图像进行检测，获得检测结果，图像识别模型为基于舌象训练样本训练得到的模型，且图像识别模型能够识别出舌象图像的舌部区域；确定检测结果是否满足目标采集条件，如果是将满足目标采集条件的舌象图像进行存储；如果否，生成调整提示信息，以使得基于所述调整提示信息获得满足所述目标采集条件的舌象图像；在满足目标采集条件的舌象图像中确定目标舌象图像。本发明利用图像识别模型分割出舌部区域，采用图像算法计算舌部区域的形态，根据各种形态进行智能语音提示。避免了用户自己盲目拍摄图像，只需要在语音引导下，做出相应的姿态调整，即可拍出合格的舌象图。进而实现了移动端采集舌象的便捷高效性及提升了图像采集的精准度。[0069] 为了提升用户的体验效果，避免总是调整带来的不变，在本发明实施例中还包括：[0070] 响应于目标对象通过所述调整提示信息进行调整后拍摄，采集得到调整后的舌象图像；[0071] 检测所述舌象图像是否满足所述目标采集条件，如果否，生成提示信息；[0072] 若生成提示信息次数大于次数阈值，且拍摄获得的舌象图像不满足目标采集条件，在拍摄获得的舌象图像中确定与所述目标采集条件匹配度最高的舌象图像为目标舌象图像。[0073] 在该实施例中设置了次数阈值，即当一直无法获取到满意的图像时，可以生成一定次数的提示信息，若还是无法获得满足目标采集条件的舌象图像，则会在拍摄获得舌象图像中确定与目标采集条件匹配度最高，如最接近目标采集条件的图像作为目标舌象图像。例如，当语音提示五次后，识别的图像类别或舌部区域仍不满足标准，则保存一种满意度度最高的视频帧，即根据系统计算最后几帧视频图像中清晰度、位置相对最好的一帧。[0074] 在本发明实施例中通过图像识别模型对初始舌象图像进行检测时，可以将图像识别模型识别得到的舌部区域作为最终的检测结果，然后在后续判断是否满足目标采集条件时，对该检测结果先进行计算再判断。也可以是将对识别出的舌部区域进行相关计算后的计算结果确定为检测结果，然后对该检测结果与目标采集条件进行直接判断。[0075] 例如，所述基于图像识别模型对所述初始舌象图像进行检测，获得检测结果，包括：基于所述图像识别模型对所述初始舌象图像进行识别，获得舌部区域；计算所述舌部区域的形态特征，得到计算结果；将所述计算结果确定为检测结果。[0076] 在通过模型获得舌部区域后，可以采用传统图像算法实时计算舌部区域形态特征：大小、中心、外边界矩形等参数，同时利用梯度法计算该舌部区域的清晰度。[0077] 具体的，可以根据上述获得的相关参数，判断舌部区域大小、位置、形态是否合适，如果不合适，通过语音指导用户移动手机或者调整位置，使得舌部区域满足分析需求。因此，在本发明实施例中生成调整提示信息包括：生成针对目标对象姿态调整的提示信息；和/或，生成调整移动端后置摄像头的提示信息。即提示信息可以是提供用户调整姿态，也可以是提示用户移动手机，以使得后置摄像头的拍摄位置进行调整。[0078] 在本发明实施例中是通过图像识别模型识别获得舌部区域的，并且还可以识别拍摄类别，因此，还提供了一种创建图像识别模型的方法，该方法包括：[0079] 基于舌象训练样本，训练得到图像识别模型，包括：[0080] 获取舌象图像集，并对所述舌象图像集中的每一舌象图像进行特征标注，得到标注后的舌象图像集；[0081] 对所述标注后的舌象图像集进行模型训练，获得图像识别模型，其中，所述图像识别模型具有能够输出舌象图像的舌部区域以及所述舌部区域对应的类别信息。[0082] 图像识别模型可以是多任务分割分类深度学习模型，舌象训练样本是已有的舌象图像。标注信息可以包括类别信息，以及类别信息对应的标识。进一步的，利用2000多张的舌象图训练得到，分割分类模型的语义分割分支给出舌象图的舌上、舌下及背景区域，分类分支给出舌象图的类别，共五类，包括全背景图像，舌上好，舌上不好，舌下好，舌下不好。[0083] 在获得了目标舌象图像后，可以进行特征分析，来获得舌象特征分析结果。例如，在获得了目标舌象图像后，移动端可以在网络条件较好的情况下，自动将目标舌象图像上传到云端。如果网络信号条件不好，可以将目标舌象图像存储在本地，在网络信号条件好的情况下，自动将目标舌象图像上传到云端。需要说明的是，可以利用移动端计算资源，即利用本地边缘计算资源，采用AI(人工智能，ArtificialIntelligence)模型分析舌象，给出舌象特征，包括舌色、苔色、苔质、舌形、津液等特征。[0084] 本发明实施例通过模型和特征计算自动筛选获得满足目标采集条件的舌象图像，可以在这些满足目标采集条件的舌象图像中选取参数最优的图像作为最终的目标舌象图像，也可以是生成对应的提示信息以获得用户是否还需要进行重新拍摄。即系统在整个自动拍摄过程中计算满足目标条件的图片是通用标准，拍摄完成后用户也可以根据自动判断是否需要拍摄更好的图像，如果需要重新拍摄，则选择补拍。因此，在一种可能实施方式中，所述在满足所述目标采集条件的舌象图像中确定目标舌象图像，包括：响应于获得满足目标采集条件的舌象图像，生成拍摄提示信息，所述拍摄提示信息用于提示用户是否重新拍摄；接收与所述拍摄提示信息对应的触发指令，对所述触发指令进行解析，得到解析结果；若所述解析结果为重新拍摄，采集重新拍摄后的舌象图像；若所述解析结果为不重新拍摄，将满足目标条件的舌象图像确定为目标舌象图像。[0085] 在远程舌诊过程中，需要获取不同类别的舌象图像，如舌上和舌下，可以在拍摄前先确定拍摄的类别，然后图像识别模型识别的时候会识别拍摄到的类别是否与预先确定的类别相同，然后基于该类别识别对应舌部区域，进一步判断识别出的舌部区域的相关参数是否满足目标采集条件。需要说明的是，在本发明实施例中图像识别模型可以在识别类别的同时识别出对应的区域，也可以是只识别出对应的舌部区域。类别的识别可以通过与类别信息进行匹配来获得，即本发明实施例并不具体限制模型的类型。[0086] 在拍摄获得了某个类别对应的目标舌象图像后，会进一步判断是否还需要对下一类别的舌象进行拍摄，如果是，则重新执行上述各个步骤。对应的，所述采集初始舌象图像，包括：确定第一拍摄类别，采集与所述第一拍摄类别对应的初始舌象图像；响应于获取到与所述第一拍摄类别相匹配的目标舌象图像，检测是否有第二拍摄类别；如果有，采集与所述第二拍摄类别相匹配的初始舌象图像。然后，基于图像识别模型对第二拍摄类别相匹配的初始舌象图像进行检测，获得检测结果；确定所述检测结果是否满足目标条件，如果是，将满足目标采集条件的舌象图像进行存储，如果否，生成提示信息，以使得基于所述调整提示信息获得满足所述目标条件的舌象图像，并在其中确定第二拍摄类别对应的目标舌象图像。[0087] 本发明实施例是在手机端辅助用户自助完成舌象采集，并利用边缘计算快速分析舌象特征。自动采集舌象包括AI模型识别舌象和智能语音提示两部分，舌象识别指实时识别视频帧是否含有舌上或舌下区域，并判断舌象的质量，主要包括舌区域的位置、大小、清晰程度等；智能语音提示指在整个采集过程中，系统根据识别的各种状态实时语音提示用户调整姿态，自动完成舌象的采集。[0088] 该舌象拍摄过程包括：[0089] 移动端提示舌象的类别，利用一种训练好的图像分类分割模型实时识别视频帧，识别出舌象类别同时给出舌部ROI(regionofinterest，感兴趣区域)，可以简称为舌部区域。[0090] 利用上述模型分割的舌部区域，采用传统图像算法实时计算舌部区域形态特征：大小、中心、外边界矩形等参数，同时利用梯度法计算视频帧图像舌部区域的清晰度。其中，清晰度计算公式包括：能量梯度函数计算分辨率，本发明对此不进行限制。[0091] 根据上述获得的相关参数，判断舌部区域大小、位置、形态是否合适，如果不合适，智能语音指导用户移动手机或调整姿态，使得舌部区域满足分析需求。[0092] 舌部区域满足条件后，当模型识别出的舌象类别与语音提示的类别相符时，系统自动连续保存多张视频帧，并挑选清晰度最大的视频帧作为最终的舌象图，舌上、舌下拍摄方式相同。[0093] 当语音提示到一定次数后，识别的图像类别或舌部区域仍不满足标准，则保存一张满足度最高的视频帧，并判断该帧图像是否满足需求。[0094] 移动端自动判断是否有下一类型需要拍摄，如果有，重复上述各个步骤。[0095] 拍摄完成后，根据拍摄的舌象图像，判断舌象是否合格，用户可以选择对表示不合格的图像进行补拍。[0096] 拍摄完成后，在有网络信号的情况下，自动将舌象图上传到云端，如果没有网络信号，系统自动将舌象图像存储在本地，等有网络信号时，自动将舌象图上传到云端。系统根据拍摄完成的舌象，利用本地边缘计算资源，采用AI模型分析舌象，给出舌象特征，包括舌色、苔色、苔质、舌形、津液等特征。[0097] 具体的，本发明实施例中本方法和系统优势在于引入AI模型，并结合传统图像算法。在移动端集成多任务AI模型，使得分类与分割同时进行，然后采用传统图像算法计算ROI区域的大小、位置、姿态等指标，AI模型压缩在5M以下，确保计算视频帧的同时不影响视频的流畅度，以改善用户的拍照体验。由于用户自己在拍照舌象图时，很难在没有其他辅助工具，如镜子的情况下拍出清晰的舌象，而且拍摄舌象时，需要快速抓拍舌吐出时的瞬间图像，如果舌部吐出时间过长，舌的颜色和形态都会发生变化，大多数舌诊软件是观察者拿手机给被观察者拍摄，人眼观察到合格的图像，在屏幕上点击拍照，这种拍摄方式完全依赖于观者自己的主观判断。对于舌象图是否合格，没有客观的量化指标；或者用户自己利用手机前置摄像头自拍，这种方式拍出的图像也是通过主观判断合格后点击拍照完成的。当用户自己采用手机后置摄像头采集舌象时，多数情况下拍不清楚图像，或者出现舌头没吐出来，及舌区域太小等情况。为了解决以上情况，本方法与系统实时识别舌象状态及位置，同时利用智能语音提示用户进行相应的调整，以拍出合格的舌象图。该方案不需要其他人或其他工具配合，只需要用户自己手拿手机操作即可。系统识别舌象时，采用AI分类分割模型和传统图像算法相结合的方法，AI模型给出分类包括：舌上好、舌上不好、背景、舌下好、舌下不好5类，同时给出舌上、背景、舌下区域的像素级分割结果，然后利用传统图像算法计算舌区域的形态、大小、位置，针对各种状态提示不同的语音，辅助用户自助拍出合格的舌象。如，“舌没有完全吐出”、“舌偏上”，“舌偏下”，“舌偏左”，“舌偏右”、“舌离镜头太远”等状态，系统会给出语音提示“请将舌头尽量吐出”、“头向下平移”、“头向上平移”、“头向右平移”、“头向左平移”、“头靠近手机镜头”等等。[0098] 参见图3，其示出了本发明实施例提供的一种舌象拍摄的应用流程图。该过程包括：[0099] (1)使用的多任务分割分类深度学习模型是利用2000多张的舌象图训练得到，分割分类模型的语义分割分支给出舌象图的舌上、舌下及背景区域，分类分支给出舌象图的类别，共五类，包括全背景图像，舌上好，舌上不好，舌下好，舌下不好；[0100] (2)利用传统图像算法计算AI模型获得的舌上或舌下区域的位置、大小、姿态、清晰度，分析得到的舌上好、舌下好两类舌象图中舌分割区域的大小、位置、姿态、清晰度，以采用统计法获得区域大小、位置、姿态、清晰度的阈值；[0101] (3)对于舌上不好、舌下不好两类舌象图，根据其位置、大小给出语音提示“头向上移”、“头向下移”、“头向左移”、“头向右移”、“头远离镜头”、“头靠近镜头”。对于舌姿态不满足要求的情况，拍舌上时语音提示“放轻松，尽量张开嘴，吐出舌头”。对于舌区域清晰度不满足的情况，语音提示“请保持不动，正在拍摄中”；[0102] (4)舌象分类结果与舌象区域清晰度、姿态、位置、大小均满足要求时，系统自动保存自该帧起的连续多张合格视频帧，并将这些帧中清晰度最高的舌象图作为最终舌象图；[0103] (5)用于舌象特征识别的AI模型是一种多任务分类模型。首先对2000多张舌象图进行多种属性的特征标注，舌象特征涉及舌色(淡红、淡白、红绛)、舌形(正常、胖大、瘦薄)、苔色(白苔、黄苔、黄白苔)、苔质(厚苔、腻苔、薄苔)、津液(润、滑、燥)，及其他形态特征，包括齿痕、各种形态的裂纹、点刺、凹凸等；[0104] (6)由自动拍摄模块获得舌象图后，将AI模型分割的舌部区域的外接矩形映射到原始舌象图上，在原始舌象图上截取舌的外接矩形区域，并将该舌部区域数据输入到特征识别模型中，得到舌象特征。[0105] 本发明实施例是辅助用户自助拍摄舌象，实时检测视频帧，针对各种不满足条件的情况，使用智能语音提示用户调整吐舌姿态，辅助用户快速地拍出合格的舌象。拍完舌象后利用本地边缘资源直接给出分析结果。本方案不受网络信号影响，如果网络信号不佳，本地也可以直接给出判读结果。视频帧进入分类分割模型，该模型对输入图像进行实时分类：将图像分为舌上、舌下，以及非舌图像(包括全背景、部分舌部区域过小的图像)，同时利用该模型分割出舌部区域，采用传统图像算法计算舌部区域的形态，根据各种形态进行智能语音提示。本方案避免了用户自己盲目拍摄图像，只需要在语音引导下，做出相应的姿态调整，即可拍出合格的舌象图。[0106] 在本发明实施例中还提供了一种移动端舌象采集装置，参见图4，包括：[0107] 采集单元10，用于响应于目标对象通过移动端的后置摄像头进行舌象拍摄，采集初始舌象图像；[0108] 检测单元20，用于基于图像识别模型对所述初始舌象图像进行检测，获得检测结果，所述图像识别模型为基于舌象训练样本训练得到的模型，且所述图像识别模型能够识别出舌象图像的舌部区域；[0109] 第一确定单元30，用于确定所述检测结果是否满足目标采集条件，如果是将满足目标采集条件的舌象图像进行存储；[0110] 生成单元40，用于如果否，生成调整提示信息，以使得基于所述调整提示信息获得满足所述目标采集条件的舌象图像；[0111] 第二确定单元50，用于在满足所述目标采集条件的舌象图像中确定目标舌象图像。[0112] 进一步的，所述装置还包括：[0113] 图像采集单元，用于响应于目标对象通过所述调整提示信息进行调整后拍摄，采集得到调整后的舌象图像；[0114] 检测单元，用于检测所述舌象图像是否满足所述目标采集条件，如果否，生成提示信息；[0115] 图像确定单元，用于若生成提示信息次数大于次数阈值，且拍摄获得的舌象图像不满足目标采集条件，在拍摄获得的舌象图像中确定与所述目标采集条件匹配度最高的舌象图像为目标舌象图像。[0116] 进一步的，所述检测单元具体用于：[0117] 基于所述图像识别模型对所述初始舌象图像进行识别，获得舌部区域；[0118] 计算所述舌部区域的形态特征，得到计算结果；[0119] 将所述计算结果确定为检测结果。[0120] 进一步的，所述生成单元具体用于：[0121] 生成针对目标对象姿态调整的提示信息；[0122] 和/或，[0123] 生成调整移动端后置摄像头的提示信息。[0124] 进一步的，所述装置还包括：[0125] 模型训练单元，用于基于舌象训练样本，训练得到图像识别模型，所述模型训练单元具体用于：[0126] 获取舌象图像集，并对所述舌象图像集中的每一舌象图像进行特征标注，得到标注后的舌象图像集；[0127] 对所述标注后的舌象图像集进行模型训练，获得图像识别模型，其中，所述图像识别模型具有能够输出舌象图像的舌部区域以及所述舌部区域对应的类别信息。[0128] 进一步的，所述装置还包括：[0129] 特征分析单元，用于对所述目标舌象图像进行特征分析，获得舌象特征分析结果。[0130] 进一步的，所述第二确定单元具体用于：[0131] 响应于获得满足目标采集条件的舌象图像，生成拍摄提示信息，所述拍摄提示信息用于提示用户是否重新拍摄；[0132] 接收与所述拍摄提示信息对应的触发指令，对所述触发指令进行解析，得到解析结果；[0133] 若所述解析结果为重新拍摄，采集重新拍摄后的舌象图像；[0134] 若所述解析结果为不重新拍摄，将满足目标条件的舌象图像确定为目标舌象图像。[0135] 进一步的，所述采集单元包括：[0136] 确定第一拍摄类别，采集与所述第一拍摄类别对应的初始舌象图像；[0137] 响应于获取到与所述第一拍摄类别相匹配的目标舌象图像，检测是否有第二拍摄类别；[0138] 如果有，采集与所述第二拍摄类别相匹配的初始舌象图像。[0139] 本发明实施例提供了一种移动端舌象采集装置，响应于目标对象通过移动端的后置摄像头进行舌象拍摄，采集初始舌象图像；基于图像识别模型对初始舌象图像进行检测，获得检测结果，图像识别模型为基于舌象训练样本训练得到的模型，且图像识别模型能够识别出舌象图像的舌部区域；确定检测结果是否满足目标采集条件，如果是将满足目标采集条件的舌象图像进行存储；如果否，生成调整提示信息，以使得基于所述调整提示信息获得满足所述目标采集条件的舌象图像；在满足目标采集条件的舌象图像中确定目标舌象图像。本发明实现了移动端采集舌象的便捷高效性及提升了图像采集的精准度。[0140] 本发明实施例还提供了一种移动端舌象采集设备，包括：[0141] 存储器，用于存储程序；[0142] 处理器，用于执行所述程序，所述程序具体用于实现如上述中任意一项所述的移动端舌象采集方法。[0143] 需要说明的是，上述处理器或CPU可以为特定用途集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、数字信号处理器(DigitalSignalProcessor，DSP)、数字信号处理装置(DigitalSignalProcessingDevice，DSPD)、可编程逻辑装置(ProgrammableLogicDevice，PLD)、现场可编程门阵列(FieldProgrammableGateArray，FPGA)、中央处理器(CentralProcessingUnit，CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地，实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。[0144] 需要说明的是，上述计算机存储介质/存储器可以是只读存储器(ReadOnlyMemory，ROM)、可编程只读存储器(ProgrammableRead‑OnlyMemory，PROM)、可擦除可编程只读存储器(ErasableProgrammableRead‑OnlyMemory，EPROM)、电可擦除可编程只读存储器(ElectricallyErasableProgrammableRead‑OnlyMemory，EEPROM)、磁性随机存取存储器(FerromagneticRandomAccessMemory，FRAM)、快闪存储器(FlashMemory)、磁表面存储器、光盘、或只读光盘(CompactDiscRead‑OnlyMemory，CD‑ROM)等存储器；也可以是包括上述存储器之一或任意组合的各种终端，如移动电话、计算机、平板设备、个人数字助理等。[0145] 在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。[0146] 上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。[0147] 另外，在本申请各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read‑OnlyMemory，ROM)、随机存取存储器(RandomAccessMemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。[0148] 本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。[0149] 本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。[0150] 本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。[0151] 以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。[0152] 本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。[0153] 对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

专利地区：北京

专利申请日期：2021-06-07

专利公开日期：2024-07-26

专利公告号：CN113361513B