识别装置、识别器学习方法、识别方法以及程序

专利名称：识别装置、识别器学习方法、识别方法以及程序

专利类型：发明专利

专利申请号：CN202010285002.5

专利申请（专利权）人：卡西欧计算机株式会社
权利人地址：日本东京都

专利发明（设计）人：松永和久,中岛光康

专利摘要：本发明提供识别装置、识别器学习方法、识别方法以及程序。与以往相比进一步实现识别精度的提高。识别装置(100)具备：白色光图像数据获取部(11)，其获取接受第一接受光并进行拍摄而得到的白色光图像数据，第一接受光是从照射了包括白色光的第一照射光的皮肤或者粘膜所包含的患部反射的反射光；紫外光图像数据获取部(12)，其获取接受第二接受光并进行拍摄而得到的紫外光图像数据，第二接受光是包括通过照射了第二照射光的患部的荧光反应而产生的光的光，第二照射光包括紫外光；以及第一最终识别部(15)，其基于白色光图像数据以及紫外光图像数据，对患部进行识别。

主权利要求：
1.一种识别装置，其特征在于，具备：
识别器，其使用照射了第一照射光的皮肤或者粘膜的图像数据以及照射了第二照射光的上述皮肤或者粘膜的图像数据，将预定部位识别为患部，并学习上述患部为良性还是恶性，其中，上述第一照射光包括白色光，上述第二照射光包括照射时预定部位表示出荧光反应的光；
第一图像数据获取单元，其获取向包含上述预定部位的皮肤或者粘膜照射上述第一照射光并拍摄而得到的第一图像数据；
第二图像数据获取单元，其获取向包含上述预定部位的皮肤或者粘膜照射上述第二照射光并拍摄而得到的第二图像数据；以及最终识别单元，其基于向上述识别器输入通过上述第一图像数据获取单元获取到的上述第一图像数据以及通过上述第二图像数据获取单元获取到的上述第二图像数据而得到的结果，识别上述预定部位为患部，并识别上述患部为良性还是恶性，上述第一图像数据是对照射了上述第一照射光的皮肤或者粘膜进行拍摄而得到的、包含RGB颜色空间的全部的颜色要素的图像数据，上述第二图像数据是对照射了上述第二照射光的皮肤或者粘膜进行拍摄而得到的、包含上述RGB颜色空间的R和G颜色要素的图像数据。
2.根据权利要求1所述的识别装置，其特征在于，
上述最终识别单元根据对以下内容进行了机器学习而得的模型，来识别上述患部为良性还是恶性，其中，该内容是指：输入照射了上述第一照射光的皮肤或者粘膜的图像数据以及照射了上述第二照射光的上述皮肤或者粘膜的图像数据，并以概率方式输出上述患部为良性还是恶性而作为上述患部的识别结果。
3.根据权利要求1或2所述的识别装置，其特征在于，
向上述最终识别单元输入综合上述第一图像数据和上述第二图像数据而得到的综合图像数据。
4.根据权利要求1或2所述的识别装置，其特征在于，
上述识别器包括：
第一识别单元，其识别照射了上述第一照射光的皮肤或者粘膜的图像数据所包含的上述预定部位为上述患部，并识别上述患部是否为恶性；以及第二识别单元，其识别照射了上述第二照射光的皮肤或者粘膜的图像数据所包含的上述预定部位为上述患部，并识别上述患部是否为恶性，上述最终识别单元基于上述第一识别单元的识别结果以及上述第二识别单元的识别结果，识别上述患部为良性还是恶性。
5.根据权利要求1或2所述的识别装置，其特征在于，
上述识别装置还具备：
有无角栓判定单元，其基于上述第二图像数据，判定上述患部有无角栓；
有角栓用识别单元，其基于通过上述有无角栓判定单元判定为有角栓的上述第二图像数据和上述第一图像数据，对上述患部进行识别；以及无角栓用识别单元，其基于通过上述有无角栓判定单元判定为无角栓的上述第二图像数据和上述第一图像数据，对上述患部进行识别，在上述第二图像数据被上述有无角栓判定单元判定为有角栓的情况下，上述最终识别单元基于上述有角栓用识别单元的识别结果对上述患部进行识别，在上述第二图像数据被上述有无角栓判定单元判定为无角栓的情况下，上述最终识别单元基于上述无角栓用识别单元的识别结果对上述患部进行识别。
6.根据权利要求5所述的识别装置，其特征在于，
上述有无角栓判定单元根据上述第二图像数据所包含的R值以及G值的最大值是否为角栓判定阈值以上，来判定上述患部有无角栓。
7.根据权利要求2所述的识别装置，其特征在于，
上述第一图像数据的拍摄定时与上述第二图像数据的拍摄定时的时间差为连拍基准时间以下。
8.一种识别装置的识别器学习方法，其特征在于，上述识别器学习方法具备如下步骤：第一图像数据获取步骤，获取对照射了第一照射光的皮肤或者粘膜进行拍摄而得到的第一图像数据，其中，上述第一照射光包括白色光；
第二图像数据获取步骤，获取照射了第二照射光的上述皮肤或者粘膜的图像数据，其中，上述第二照射光包括照射时预定部位表示出荧光反应的光；以及学习步骤，对使用上述第一图像数据以及上述第二图像数据，识别上述预定部位为患部，并识别上述患部为良性还是恶性的识别器进行学习，上述第一图像数据是对照射了上述第一照射光的皮肤或者粘膜进行拍摄而得到的、包含RGB颜色空间的全部的颜色要素的图像数据，上述第二图像数据是对照射了上述第二照射光的皮肤或者粘膜进行拍摄而得到的、包含上述RGB颜色空间的R和G颜色要素的图像数据。
9.根据权利要求8所述的识别器学习方法，其特征在于，
上述第一图像数据的拍摄定时与上述第二图像数据的拍摄定时的时间差为预定的连拍基准时间以下。
10.根据权利要求8所述的识别器学习方法，其特征在于，
上述识别器学习方法还具备根据上述第二图像数据判定上述患部有无角栓的有无角栓判定步骤，在上述学习步骤中，
基于在上述有无角栓判定步骤中判定为有角栓的上述第二图像数据和上述第一图像数据，学习对判定为有角栓的上述患部进行识别的有角栓用识别器，基于在上述有无角栓判定步骤中判定为无角栓的上述第二图像数据和上述第一图像数据，学习对判定为无角栓的上述患部进行识别的无角栓用识别器。
11.根据权利要求10所述的识别器学习方法，其特征在于，
在上述有无角栓判定步骤中，根据上述第二图像数据所包含的R值以及G值的最大值是否为角栓判定阈值以上，来判定上述患部有无角栓。
12.根据权利要求8至11中的任一项所述的识别器学习方法，其特征在于，上述识别器学习方法还具备如下步骤：验证步骤，对多个候补识别器中的每个候补识别器，另外，对多个上述候补识别器的组合，分别获取评价识别结果的正确性的值即评价值；以及决定步骤，根据在上述验证步骤中获取到的上述候补识别器中的每个候补识别器的评价值以及上述候补识别器的组合的评价值，从上述候补识别器中的每个候补识别器以及上述候补识别器的组合中，决定采用为对上述患部进行识别的识别器的采用识别器，在上述学习步骤中，学习在上述决定步骤中决定的采用识别器。
13.根据权利要求12所述的识别器学习方法，其特征在于，
在上述验证步骤中，获取基于上述第一图像数据对上述患部进行识别的第一识别器的评价值即第一评价值、基于上述第二图像数据对上述患部进行识别的第二识别器的评价值即第二评价值、以及基于上述第一识别器的输出值与上述第二识别器的输出值的平均值的上述患部的识别的评价值即第三评价值，在上述决定步骤中，基于上述第一评价值、上述第二评价值以及上述第三评价值中的最大值，决定上述采用识别器。
14.一种识别装置的识别方法，其特征在于，上述识别方法具备如下步骤：识别步骤，使用照射了第一照射光的皮肤或者粘膜的图像数据以及照射了第二照射光的上述皮肤或者粘膜的图像数据，将预定部位识别为患部，并学习上述患部为良性还是恶性，其中，上述第一照射光包括白色光，上述第二照射光包括照射时预定部位表示出荧光反应的光；
第一图像数据获取步骤，获取向包含上述预定部位的皮肤或者粘膜照射上述第一照射光并拍摄而得到的第一图像数据；
第二图像数据获取步骤，获取向包含上述预定部位的皮肤或者粘膜照射上述第二照射光并拍摄而得到的第二图像数据；以及最终识别步骤，基于向识别器输入通过上述第一图像数据获取步骤获取到的上述第一图像数据以及通过上述第二图像数据获取步骤获取到的上述第二图像数据而得到的结果，识别上述预定部位为患部，并识别上述患部为良性还是恶性，上述第一图像数据是对照射了上述第一照射光的皮肤或者粘膜进行拍摄而得到的、包含RGB颜色空间的全部的颜色要素的图像数据，上述第二图像数据是对照射了上述第二照射光的皮肤或者粘膜进行拍摄而得到的、包含上述RGB颜色空间的R和G颜色要素的图像数据。
15.一种存储介质，其特征在于，存储使识别装置的计算机执行如下步骤的程序：识别步骤，使用照射了第一照射光的皮肤或者粘膜的图像数据以及照射了第二照射光的上述皮肤或者粘膜的图像数据，将预定部位识别为患部，并学习上述患部为良性还是恶性，其中，上述第一照射光包括白色光，上述第二照射光包括照射时预定部位表示出荧光反应的光；
第一图像数据获取步骤，获取向包含上述预定部位的皮肤或者粘膜照射上述第一照射光并拍摄而得到的第一图像数据；
第二图像数据获取步骤，获取向包含上述预定部位的皮肤或者粘膜照射上述第二照射光并拍摄而得到的第二图像数据；以及最终识别步骤，基于向识别器输入通过上述第一图像数据获取步骤获取到的上述第一图像数据以及通过上述第二图像数据获取步骤获取到的上述第二图像数据而得到的结果，识别上述预定部位为患部，并识别上述患部为良性还是恶性，上述第一图像数据是对照射了上述第一照射光的皮肤或者粘膜进行拍摄而得到的、包含RGB颜色空间的全部的颜色要素的图像数据，上述第二图像数据是对照射了上述第二照射光的皮肤或者粘膜进行拍摄而得到的、包含上述RGB颜色空间的R和G颜色要素的图像数据。 说明书 : 识别装置、识别器学习方法、识别方法以及程序技术领域[0001] 本发明涉及识别装置、识别器学习方法、识别方法以及程序。背景技术[0002] 以往，作为识别被拍摄的患部是否是恶性的识别装置，例如公知有日本特开2017－45341号公报所公开的诊断装置。在该诊断装置中，对于皮肤图像数据执行部位强调、构造清晰化、旋转、反转等图像转换而对图像数据进行增量，并将增量后的图像数据输入到多个识别器。而且，通过综合多个识别器的识别结果得到最终的识别结果，而使识别精度比以往提高。发明内容[0003] 在专利文献1所公开的以往的集成识别器中，通过使用多个识别器，能够使识别精度比单个识别器的识别提高。但是，输入到多个识别器的图像数据均不过是对原始的图像数据进行图像转换，由于不是图像数据所包含的信息增加，所以识别精度的提高有限。[0004] 本发明是为了解决上述问题而提出的，其目的在于，提供能够与以往相比进一步实现识别精度的提高的识别装置、识别器学习方法、识别方法以及程序。[0005] 为了实现上述目的，本发明的识别装置具备：[0006] 第一图像数据获取单元，其获取接受第一接受光并进行拍摄而得到的第一图像数据，上述第一接受光是从照射了包括白色光的第一照射光的皮肤或者粘膜所包含的患部反射的反射光；[0007] 第二图像数据获取单元，其获取接受第二接受光并进行拍摄而得到的第二图像数据，上述第二接受光是包括通过照射了第二照射光的上述患部的荧光反应而产生的光的光，上述第二照射光包括照射到上述患部时上述患部表示出荧光反应的光；以及[0008] 最终识别单元，其基于上述第一图像数据以及上述第二图像数据，对上述患部进行识别。[0009] 根据本发明，能够与以往相比进一步实现识别精度的提高。附图说明[0010] 图1是对实施方式1的识别装置的处理概要进行说明的图。[0011] 图2是表示实施方式1的识别装置的功能构成的图。[0012] 图3是实施方式1的识别器学习处理的流程图。[0013] 图4是实施方式1的学习数据生成处理的流程图。[0014] 图5是实施方式1的识别处理的流程图。[0015] 图6是表示变形例1的识别装置的功能构成的图。[0016] 图7是变形例1的综合图像学习处理的流程图。[0017] 图8是变形例1的综合学习数据生成处理的流程图。[0018] 图9是变形例1的综合图像识别处理的流程图。[0019] 图10是变形例2的综合图像识别处理的流程图。[0020] 图11是表示变形例3的识别装置的功能构成的图。[0021] 图12是变形例3的有无角栓图像学习处理的流程图。[0022] 图13是变形例3的采用识别器决定/学习处理的流程图。[0023] 图14是对变形例3的采用识别器决定/学习处理中的交叉验证进行说明的图。[0024] 图15是变形例3的有无角栓利用识别处理的流程图。具体实施方式[0025] 以下，参照图表对本发明的实施方式的识别装置等进行说明。此外，对图中相同或者相当的部分标注相同的符号。[0026] (实施方式1)[0027] 如图1所示，本发明的实施方式1的识别装置100首先在对患部照射作为第一照射光的白色光(可见光的各波长的光均匀混合而成的光)的情况下、和对患部照射时患部表示出荧光反应这样的第二照射光(例如，波长为320nm～440nm，优选为405nm的光)的情况下，以高速连拍分别进行基于可见光的拍摄。然后，识别装置100将通过该连续拍摄得到的照射了白色光时的白色光照射可见光拍摄图像数据(以下称为“白色光图像数据”)以及照射了紫外光时的紫外光照射可见光拍摄图像数据(以下称为“紫外光图像数据”)通过利用各个图像数据学习的识别器进行识别。然后，识别装置100基于该2个识别结果得到最终的识别结果。此外，高速连拍是指连拍基准时间(例如1秒)以下的时间间隔下的连续的拍摄。[0028] 若照射白色光进行拍摄，则角栓在初始阶段看起来发白，若发展则氧化，看起来与黑色素同样地发黑。但是，若照射紫外光，则角栓表示出荧光反应，根据进展度从黄色光变为红色光。因此，若照射紫外光利用可见光进行拍摄，则容易确认角栓的存在。而且，在患部存在许多角栓的情况下，表示毛根未被恶性肿瘤破坏，该患部是良性的可能性较高。识别装置100利用该情况，根据基于白色光图像数据的识别结果和基于紫外光图像数据的识别结果得到最终的识别结果，由此使识别精度提高。此外，对患部进行高速连拍是为了极力减少白色光图像数据与紫外光图像数据之间的图像的位置偏移以及经时变化。[0029] 另外，如上所述，若照射紫外光，则角栓表示出荧光反应，但更详细而言，若在患部角栓增加(患部为良性的可能性较高)，则卟啉(Porphyrin)荧光波长(例如，中心荧光波长：630nm)增加。[0030] 并且，通过紫外光的照射表示出荧光反应的并不局限于角栓。例如，若细胞成为癌、或者癌之前的状态亦即异形状态，则自体荧光物质量变化，对应的荧光波长的荧光强度变化。因此，通过可见光照相机对其进行拍摄，能够检测出各荧光波长的增减，也能够使患部是癌等恶性时的识别精度提高。[0031] 具体而言，若细胞成为癌等状态，则例如上皮细胞受到损伤而细胞内的氧减少，由此，NADH(reducedNicotinamideAdenineDinucleotide：还原型烟酰胺腺嘌呤二核苷酸)增大，FAD(FlavinAdenineDinucleotide：黄素腺嘌呤二核苷酸)减少。另外，间质细胞的胶原蛋白(collagen)由于受到损伤而减少，卟啉也减少。若使激发波长变化则这些胶原蛋白、NADH、FAD以及卟啉的荧光波长也变化，但基本上，中心荧光波长按胶原蛋白、NADH、FAD、卟啉的顺序变长。例如，若举出将紫外光作为激发光照射时的中心荧光波长为例，则在胶原蛋白中为400nm，在NADH中为450nm，在FAD中为520nm，在卟啉中为630nm。[0032] 并且，利用了紫外光照射的患部的识别不仅可以利用于皮肤，也可以利用于其他的部位。特别是，由于皮肤中存在的黑色素吸收紫外线，所以黑色素较少的部位(例如口腔、大肠粘膜、子宫颈部等)所吸收的紫外线较少，通过应用本发明，能够期待得到较高的识别精度。并且，子宫颈部与口腔内、大肠内相比，没有粘膜固有层和粘膜肌层，所以认为到间质为止的路径较短，能够以较高的灵敏度检测出基于胶原蛋白的荧光反应。[0033] 在本实施方式中，作为患部的一个例子，以皮肤是患部的情况进行了说明，所以考虑由角栓引起的荧光(从黄色到红色)，假定使用将使用照射紫外光的患部通过可见光照相机拍摄到的RGB(RedGreenBlue，红绿蓝)的3ch(Channel，通道)的像素值中的R值、G值以及B值、或者R值以及G值。另一方面，是皮肤以外的患部(例如粘膜)的情况下，没有角栓，不需要考虑从黄色到红色的荧光，所以也可以仅使用RGB的像素值中的G值以及B值。但是，在将没有角栓的患部作为对象的情况下，虽然R值的成分较少但不是零，所以也可以使用R值、G值以及B值。[0034] 如图2所示，实施方式1的识别装置100具备控制部10、存储部20、照射部31、拍摄部32、输出部33、通信部34、以及操作输入部35。[0035] 控制部10由CPU(CentralProcessingUnit：中央处理单元)等构成，通过执行存储于存储部20的程序，来实现后述的各部(白色光图像数据获取部11、紫外光图像数据获取部12、第一白色光图像识别器13、第一紫外光图像识别器14、第一最终识别部15)的功能。[0036] 存储部20由ROM(ReadOnlyMemory：只读存储器)、RAM(RandomAccessMemory：随机存取存储器)等构成，存储控制部10的CPU所执行的程序以及必要的数据。[0037] 照射部31具备白色LED(LightEmittingDiode：发光二极管)等发出白色光作为第一照射光的设备和紫外光LED等发出紫外光作为第二照射光的设备，将白色光或者紫外光照射到由拍摄部32拍摄的部位(患者的患部等)。控制部10能够对照射部31指示照射白色光和紫外光中的哪个光。此外，只要是包括白色光的光，则照射部31也可以将包括其他的光(例如紫外光)的光作为第一照射光进行照射。另外，只要包括在照射到患部时该患部表示出荧光反应的光，则并不局限于紫外光，照射部31可以将包括任意的光(例如红外光)的光作为第二照射光进行照射。另外，在本实施方式中，紫外光包含近紫外光。[0038] 拍摄部32具备CMOS(ComplementaryMetalOxideSemiconductor：互补金属氧化物半导体)图像传感器等拍摄元件，拍摄学习用的图像数据或者要识别的(未知的)图像数据。拍摄部32为了将接受的可见光分色为光的三原色而在图像传感器之前设置有彩色滤光片(colorfilter)，但为了适当地接受荧光，也可以在图像传感器前另设置其它的滤光片。另外，拍摄部32也可以为了适当地表示荧光，而对拍摄到的图像数据施加数字滤光片。控制部10获取由拍摄部32拍摄到的图像数据作为由RGB的3ch的像素值的集合构成的图像数据。[0039] 此外，在本实施方式中作为拍摄部32接受可见光的情况进行了说明，但拍摄部32并不局限于可见光，也可以接受包括任意的光(例如，除了可见光(或者代替可见光)包括紫外光、红外光的光等)的光进行拍摄。该情况下，也可以根据接受的光变更滤光片的种类(例如设置提取紫外线的滤光片等)。[0040] 另外，控制部10也可以不必在获取图像数据时由拍摄部32拍摄图像。例如，在存储部20存储有图像数据的情况下，控制部10也可以从存储部20读出图像数据来获取图像数据。另外，控制部10也可以经由通信部34从外部的服务器等获取图像数据。这样从存储部20、外部的服务器等获取图像数据的情况下，识别装置100也可以不具备照射部31以及拍摄部32。[0041] 输出部33是用于控制部10输出识别由拍摄部32拍摄到的图像数据中反映的患部的结果等的设备。例如，输出部33是液晶显示器、有机EL(Electro－Luminescence：电致发光)显示器。该情况下，输出部33作为显示部发挥作用。但是，识别装置100既可以具备这样的显示器(显示部)作为输出部33，也可以代替显示器而具备作为用于连接外部的显示器的接口的输出部33。识别装置100在具备作为接口的输出部33的情况下，在经由输出部33连接的外部的显示器显示识别结果等。[0042] 通信部34是用于与外部的其他装置(例如，储存有图像数据的数据库的服务器等)进行数据的收发的设备(网络接口等)。控制部10能够经由通信部34获取图像数据等。[0043] 操作输入部35是接受用户对识别装置100的操作输入的设备，例如是键盘、鼠标、触摸面板等。识别装置100经由操作输入部35接受来自用户的指示等。[0044] 接下来，对控制部10的功能进行说明。控制部10实现白色光图像数据获取部11、紫外光图像数据获取部12、第一白色光图像识别器13、第一紫外光图像识别器14、以及第一最终识别部15的功能。[0045] 白色光图像数据获取部11获取通过接受从照射了白色光(第一照射光)的患部反射的反射光(第一接受光)进行拍摄而得到的白色光图像数据。白色光图像数据是由RGB颜色空间的颜色要素亦即RGB的3ch的像素值的集合构成的图像数据，在每个像素包括表示该像素的红的程度的R值、表示该像素的绿的程度的G值、以及表示该像素的蓝的程度的B值。白色光图像数据也被称为第一图像数据。另外，白色光图像数据获取部11作为第一图像数据获取单元而发挥作用。[0046] 紫外光图像数据获取部12获取通过接受包括由照射了紫外光(第二照射光)的患部中的荧光反应产生的光的光(第二接受光)并进行拍摄而得到的紫外光图像数据。紫外光图像数据也与白色光图像数据同样地，是由RGB的3ch的像素值的集合构成的图像数据，在每个像素包括R值、G值以及B值。紫外光图像数据也被称为第二图像数据。另外，紫外光图像数据获取部12作为第二图像数据获取单元而发挥作用。[0047] 第一白色光图像识别器13以及第一紫外光图像识别器14均是利用作为DNN(DeepNeuralNetwork：深度神经网络)的一种的卷积神经网络(ConvolutionalNeuralNetwork：CNN)的图像的识别器。通过执行实现基于CNN的识别器的程序，控制部10也作为第一白色光图像识别器13发挥作用，另外，也作为第一紫外光图像识别器14发挥作用。[0048] 第一白色光图像识别器13具有被输入白色光图像数据获取部11获取到的白色光图像数据的输入层、输出所输入的白色光图像数据的识别结果的输出层、以及输入层与输出层之间的中间层，从输出层输出识别白色光图像数据中反映的患部的结果。第一白色光图像识别器13也被称为第一识别器。另外，第一白色光图像识别器13通过对各图像数据中反映的患部赋予表示是良性还是恶性的正确标签的学习数据集进行学习，从而若输入拍摄到患部的白色光图像数据，则从输出层输出该患部是恶性的概率(能够以从输出层输出该患部为良性的概率的方式进行学习，但在本实施方式中以输出该患部为恶性的概率的方式进行学习)。因此，第一白色光图像识别器13作为识别该患部是否是恶性的第一识别单元而发挥作用。[0049] 第一紫外光图像识别器14具有输入紫外光图像数据获取部12获取到的紫外光图像数据的输入层、输出所输入的紫外光图像数据的识别结果的输出层、以及输入层与输出层之间的中间层，从输出层输出识别在紫外光图像数据中反映的患部的结果。第一紫外光图像识别器14也被称为第二识别器。另外，第一紫外光图像识别器14通过对各图像数据中反映的患部赋予表示是良性还是恶性的正确标签的学习数据集进行学习，从而若输入拍摄到患部的紫外光图像数据，则从输出层输出该患部是恶性的概率(虽然能够以从输出层输出该患部为良性的概率的方式进行学习，但在本实施方式中学习以输出该患部为恶性的概率的方式进行学习)。因此，第一紫外光图像识别器14作为识别该患部是否是恶性的第二识别单元而发挥作用。[0050] 第一最终识别部15使用来自第一白色光图像识别器13的输出(白色光图像数据中反映的患部是恶性的概率)以及来自第一紫外光图像识别器14的输出(紫外光图像数据中反映的患部是恶性的概率)双方，而得到最终的识别结果。基本上，第一最终识别部15单纯地对来自第一白色光图像识别器13的输出和来自第一紫外光图像识别器14的输出进行加法平均而得到最终的识别结果，但并不局限于此。第一最终识别部15也可以对来自第一白色光图像识别器13的输出和来自第一紫外光图像识别器14的输出分别乘以适当的权重，取得两输出的加权平均，而得到最终的识别结果。第一最终识别部15作为最终识别单元而发挥作用。[0051] 以上，对识别装置100的功能构成进行了说明。接下来，参照图3对识别器学习处理进行说明。该处理是用于使用基于白色光图像数据、紫外光图像数据的学习数据通过监督学习来学习第一白色光图像识别器13以及第一紫外光图像识别器14的处理，虽然在这些学习时执行该处理，但需要至少在执行后述的识别处理前完成执行。[0052] 首先，控制部10为了生成第一白色光图像识别器13以及第一紫外光图像识别器14的CNN的监督学习所需要的学习数据集，而执行学习数据生成处理(步骤S101)。该学习数据生成处理是生成用于使第一白色光图像识别器13学习的白色光学习数据集以及用于使第一紫外光图像识别器14学习的紫外光学习数据集的处理，处理的详细内容予以后述。这里，学习数据集是指由赋予了正确标签的图像数据构成的学习数据的集合。另外，正确标签表示赋予了该正确标签的图像数据中反映的患部是良性还是恶性。[0053] 在本实施方式中，若输入拍摄了患部的图像数据，则想要使输出该患部的恶性度的概率的CNN进行学习，所以将“良性/恶性”作为正确标签赋予到学习数据集所包含的图像数据。此外，在已经准备了学习数据集的情况下，能够省略步骤S101的处理，该情况下，使用已经准备的白色光学习数据集以及紫外光学习数据集进行以后的处理。另外，也能够使CNN学习不使CNN输出患部是恶性的概率而以每个疾病的概率输出患部是什么样的疾病的可能性较高。该情况下，学习数据使用将患部的疾病名(例如，黑色素瘤(恶性)、基底细胞癌(恶性)、色素痣(良性)、脂溢性角化症(良性)等)作为正确标签而赋予的图像数据。[0054] 返回到图3，接下来，控制部10使用在步骤S101中生成的白色光学习数据集使第一白色光图像识别器13的CNN学习(步骤S102)。具体而言，控制部10从白色光学习数据集取出一个赋予了正确标签的白色光图像数据。然后，通过误差反向传播法更新CNN内的权重系数，以使将该白色光图像数据输入到第一白色光图像识别器13的CNN的输入层时从输出层输出的值与向该白色光图像数据赋予的正确标签的差值(误差)变小。并且，控制部10反复进行从白色光学习数据集取出一个其他的白色光图像数据，并且通过误差反向传播法更新CNN内的权重系数的处理。该反复次数是任意的，但例如，也可以通过仅反复白色光学习数据集所包含的白色光图像数据的数量的次数，在全部的白色光图像数据中仅更新1次CNN内的权重系数。[0055] 接下来，控制部10使用在步骤S101中生成的紫外光学习数据集，使第一紫外光图像识别器14的CNN学习(步骤S103)，结束识别器学习处理。步骤S103中的具体的处理内容除了代替白色光图像数据使用紫外光图像数据的点之外，与步骤S102中的处理内容相同。步骤S102以及步骤S103也被称为学习步骤。[0056] 以上，对识别器学习处理进行了说明。接下来，参照图4对上述步骤S101中执行的学习数据生成处理进行说明。此外，在执行学习数据生成处理时，需要准备判明是良性还是恶性的患部(或者每次拍摄患部时都诊断该患部的良性/恶性)。但是，学习数据生成处理也可以在几个月、几年等长期间持续执行，例如，也可以使医生在几个月内每次诊察新的患部时，都执行以下的步骤S111～步骤S115的处理。[0057] 首先，白色光图像数据获取部11在通过照射部31对患部照射了白色光的状态下，通过拍摄部32接受从患部反射的可见光并进行拍摄(可见光拍摄)，获取白色光图像数据(步骤S111)。[0058] 接下来，紫外光图像数据获取部12在通过照射部31对在步骤S111中拍摄的患部照射了紫外光的状态下，通过拍摄部32接受来自患部的可见光(包括反射的光以及产生的荧光)并进行拍摄(可见光拍摄)，获取紫外光图像数据(步骤S112)。此外，优选步骤S111的可见光拍摄和步骤S112的可见光拍摄尽量不隔着时间而以高速连拍的方式进行拍摄，但在实施方式1中，并不局限于高速连续拍摄，也可以隔着2～3分钟的时间进行拍摄，进一步来说，也可以隔着几天的时间进行拍摄。[0059] 接下来，控制部10从操作输入部35获取在步骤S111以及步骤S112中拍摄到的患部的正确标签(步骤S113)。例如，对于拍摄到的患部，医生诊断是良性还是恶性，经由操作输入部35输入该诊断结果(良性/恶性)，从而控制部10获取诊断结果。此外，在得到诊断结果之前，例如，若进行活检(切除病变)来获得病理检查结果，或通过非活检由多名专家一致决定，则需要时间的情况较多，所以步骤S113的执行也可以需要几天、几个月、或者几年的时间。这里获取到的诊断结果为被赋予到在步骤S111以及步骤S112中拍摄到的图像数据的正确标签。[0060] 然后，控制部10对在步骤S111中获取到的白色光图像数据赋予在步骤S113中获取到的正确标签来生成白色光学习数据，并追加到保存于存储部20的白色光学习数据集(步骤S114)。此外，若存储部20还未保存白色光学习数据集，则将仅由这次生成的1个白色光学习数据构成的白色光学习数据集保存到存储部20。[0061] 接下来，控制部10对在步骤S112中获取到的紫外光图像数据赋予在步骤S113中获取到的正确标签来生成紫外光学习数据，并追加到保存于存储部20的紫外光学习数据集(步骤S115)。此外，若存储部20中还未保存紫外光学习数据集，则将仅由这次生成的1个紫外光学习数据构成的紫外光学习数据集保存到存储部20。[0062] 然后，控制部10判定是否结束学习数据生成处理(步骤S116)。例如，若在医生将预先准备的患部的拍摄结果和诊断结果的输入全部结束的情况等，医生从操作输入部35输入学习数据生成处理的结束的指示，则判定为结束。若未判定为结束(步骤S116；否)，则返回到步骤S111。[0063] 若判定为结束(步骤S116；是)，则结束学习数据生成处理，返回到识别器学习处理(图3)的从步骤S102开始的处理。此外，在上述的学习数据生成处理中，同时生成白色光学习数据集和紫外光学习数据集，但也可以仅生成两者中的一方的学习数据集。例如，也可以在已经存在白色光学习数据集的情况下，跳过上述的处理中与白色光图像数据有关的处理，仅生成紫外光学习数据集。[0064] 另外，如上述那样，也存在从拍摄到图像开始到诊断确定为止的时间(步骤S112与步骤S113的期间)、诊察与诊察之间(循环反复的步骤S111的间隔)需要几个月以上的情况。因此，也可以在学习数据生成处理之前，预先将通过与上述的步骤S111～步骤S113同样的处理获取到的图像数据以及正确标签存储到数据库，从该数据库读出图像数据以及正确标签，由此进行学习数据生成处理。[0065] 通过以上说明的学习数据生成处理以及识别器学习处理，学习第一白色光图像识别器13以及第一紫外光图像识别器14各自的CNN。接下来，参照图5说明使用这样学习的第一白色光图像识别器13以及第一紫外光图像识别器14对识别对象的(未知的)患部的良性/恶性进行识别(推论)的识别处理。[0066] 首先，白色光图像数据获取部11利用照射部31对识别对象的患部照射白色光，接受从照射了白色光的患部反射的可见光，由此获取通过由拍摄部32进行拍摄而得到的图像的R值、G值以及B值作为白色光图像数据(步骤S201)。步骤S201也被称为第一图像数据获取步骤。[0067] 接下来，紫外光图像数据获取部12在利用照射部31对识别对象的患部照射了紫外光的状态下，接受来自照射了紫外光的患部的可见光(包括反射的光以及产生的荧光)，并获取通过拍摄部32进行拍摄而得到的图像的R值、G值以及B值作为紫外光图像数据(步骤S202)。步骤S202也被称为第二图像数据获取步骤。此外，优选步骤S201的可见光拍摄和步骤S202的可见光拍摄尽量不隔着时间地以高速连拍方式进行拍摄，但在实施方式1中，并不局限于高速连续拍摄，也可以隔着2～3分钟的时间进行拍摄，进一步讲，也可以隔着几天、几个月的时间进行拍摄。[0068] 然后，控制部10将在步骤S201中获取到的白色光图像数据输入到第一白色光图像识别器13，获取第一白色光图像识别器13的识别结果(第一白色光图像识别器13的CNN的输出值)(步骤S203)。[0069] 接下来，控制部10将在步骤S202中获取到的紫外光图像数据输入到第一紫外光图像识别器14，获取第一紫外光图像识别器14的识别结果(第一紫外光图像识别器14的CNN的输出值)(步骤S204)。[0070] 然后，第一最终识别部15计算在步骤S203中获取到的第一白色光图像识别器13的CNN的输出值与在步骤S204中获取到的第一紫外光图像识别器14的CNN的输出值的加法平均(两者之和/2)，求出计算出的加法平均作为最终的识别结果(最终的识别结果)(步骤S205)。步骤S205也被称为最终识别步骤。[0071] 然后，控制部10将最终的识别结果显示于输出部33(步骤S206)，结束识别处理。[0072] 在上述的识别处理中，能够综合基于通常的白色光图像数据的识别结果和基于紫外光图像数据的识别结果而得到最终的识别结果。在仅是白色光图像数据中，例如存在角栓与黑色素的判别困难的情况，但通过使用紫外光图像数据容易进行它们的判别。而且，如上所述，角栓多的患部是良性的可能性较高。因此，通过使用如上述那样求出的最终的识别结果，与以往的(仅基于白色光图像数据的)识别相比较能够使识别性能提高。[0073] 此外，上述的紫外光图像数据获取部12在照射部31对识别对象的患部照射了紫外光的状态下，获取由拍摄部32接受来自照射了紫外光的患部的可见光(包括反射的光以及产生的荧光)并进行拍摄而得到的图像的R值、G值以及B值作为紫外光图像数据。但是，识别角栓时重要的像素值是R值和G值，所以也能够认为即使不使用B值也不会对识别性能造成影响。因此，紫外光图像数据获取部12也可以获取如上述那样由拍摄部32拍摄而得到的图像中的R值以及G值作为紫外光图像数据。[0074] 该情况下，第一紫外光图像识别器14的CNN的输入层构成为被输入由R值以及G值构成的(不包括B值的)紫外光图像数据。而且，在进行识别器学习处理时，控制部10利用使用由R值以及G值构成的紫外光图像数据生成的紫外光图像学习数据集，使第一紫外光图像识别器14学习。这样一来，第一最终识别部15能够综合通过第一白色光图像识别器13使用由RGB3ch构成的白色光图像数据识别患部而得到的结果以及通过第一紫外光图像识别器14使用由RG2ch构成的紫外光图像数据识别患部而得到的结果，来求出最终的识别结果。[0075] 该情况下，紫外光图像数据是RG2ch即可，所以能够与使用RGB3ch的情况相比减少数据量。另外，如上所述，认为若使用紫外光图像数据的RG2ch则能够判别有无角栓，所以在该情况下，也与以往的(仅基于白色光图像数据的)识别相比较能够使识别性能提高。[0076] 另外，在实施方式1中，白色光学习数据集和紫外光学习数据集独立。因此，例如，对于白色光学习数据集，能够使用所公开的学习数据，来跳过上述的学习数据生成处理中的与白色光图像数据有关的处理，缩短学习数据生成处理所需要的时间。另外，在识别患部时，也不需要以高速连拍的方式拍摄白色光图像数据和紫外光图像数据，所以不需要导入用于高速连拍的设备。[0077] (变形例1)[0078] 在上述的实施方式1中，将白色光图像数据和紫外光图像数据分别输入到各个识别器来进行患部的识别。但是，也考虑将白色光图像数据和紫外光图像数据集中输入到一个识别器。对这样的变形例1进行说明。[0079] 如图6所示，变形例1的识别装置101的功能构成是将实施方式1的识别装置100的第一白色光图像识别器13、第一紫外光图像识别器14以及第一最终识别部15置换为综合图像识别器16的构成。[0080] 综合图像识别器16也与第一白色光图像识别器13以及第一紫外光图像识别器14同样地，是将基于作为DNN之一的CNN的图像数据作为输入数据的识别器，通过执行实现基于CNN的识别器的程序，控制部10作为综合图像识别器16发挥作用。但是，相对于第一白色光图像识别器13以及第一紫外光图像识别器14接受一个图像数据作为输入数据，综合图像识别器16接受将2个图像数据合并为一个的综合图像数据作为输入数据。[0081] 也就是说，综合图像识别器16具有：输入层，其被输入将白色光图像数据获取部11获取到的RGB3ch的白色光图像数据和紫外光图像数据获取部12获取到的RGB3ch的紫外光图像数据合并成的由RGB6ch构成的综合图像数据；输出层，其输出被输入的综合图像数据的识别结果；以及输入层与输出层之间的中间层，从输出层输出识别构成综合图像数据(6ch)的白色光图像数据以及紫外光图像数据中拍摄到的患部的结果。[0082] 识别装置101的其他的构成与识别装置100的构成相同，所以省略说明。接下来，参照图7对利用监督学习使综合图像识别器16学习的综合图像学习处理进行说明。该处理在使综合图像识别器16学习时被执行，但需要至少在执行后述的综合图像识别处理之前完成执行。[0083] 首先，控制部10为了生成综合图像识别器16的CNN的监督学习所需要的综合学习数据集，而执行综合学习数据生成处理(步骤S301)。综合学习数据生成处理的详细内容予以后述，但综合学习数据集是指被赋予了正确标签的综合图像数据的集合。变形例1中的综合图像数据是由将以高速连拍的方式拍摄到的RGB3ch的白色光图像数据和RGB3ch的紫外光图像数据合并成一个而得的RGB6ch构成的图像数据。[0084] 接下来，控制部10使用在步骤S301中生成的综合学习数据集，使综合图像识别器16的CNN学习(步骤S302)。具体而言，控制部10从综合学习数据集取出一个被赋予了正确标签的综合图像数据。并且，通过误差反向传播法更新CNN内的权重系数，以使将该综合图像数据输入到综合图像识别器16的CNN的输入层时从输出层输出的值与向该综合图像数据赋予的正确标签的差分(误差)变小。而且，控制部10反复进行从综合学习数据集取出一个其他的综合图像数据，另外通过误差反向传播法更新CNN内的权重系数的处理。该反复次数是任意的，但例如也可以通过反复进行综合学习数据集所包含的综合图像数据的数量次，而使CNN内的权重系数在全部的综合图像数据中各更新1次。[0085] 若在步骤S302中使综合图像识别器16的CNN学习，则结束综合图像学习处理。接下来，参照图8对在上述步骤S301中执行的综合学习数据生成处理进行说明。此外，在执行综合学习数据生成处理时，与上述的学习数据生成处理同样地，需要准备判明了是良性还是恶性的患部(或者每次拍摄患部时都诊断该患部的良性/恶性)。但是，也可以与学习数据生成处理同样地，综合学习数据生成处理在几个月、几年等长期间持续执行，例如，医生也可以在几个月内每次诊察新的患部时执行以后的步骤S311～步骤S314的处理。[0086] 综合学习数据生成处理的步骤S311到步骤S313的各处理与实施方式1的学习数据生成处理(图4)的步骤S111到步骤S113的各处理相同，所以省略说明。但是，步骤S311的可见光拍摄和步骤S312的可见光拍摄通过高速连拍以连拍基准时间以下的时间间隔进行。也就是说，在步骤S311中获取到的白色光图像数据的拍摄定时与在步骤S312中获取到的紫外光图像数据的拍摄定时的时间差为连拍基准时间以下。[0087] 然后，控制部10对综合在步骤S311中获取到的白色光图像数据(RGB3ch)和在步骤S312中获取到的紫外光图像数据(RGB3ch)合并成一个的综合图像数据(RGB6ch)赋予在步骤S313中获取到的正确标签来生成综合学习数据，并追加到保存于存储部20的综合学习数据集(步骤S314)。此外，若存储部20中还未保存综合学习数据集，则将仅由一个这次生成的综合学习数据构成的综合学习数据集保存到存储部20。[0088] 接下来，控制部10判定是否结束综合学习数据生成处理(步骤S315)。例如，在医生将预先准备的患部的拍摄结果和诊断结果的输入全部完成的情况等，若医生从操作输入部35输入综合学习数据生成处理的结束的指示，则判定为结束。若未判定为结束(步骤S315；否)，则返回到步骤S311。[0089] 若判定为结束(步骤S315；是)，则结束学习数据生成处理，返回到综合图像学习处理(图7)的从步骤S302开始的处理。[0090] 通过以上说明的综合学习数据生成处理以及综合图像学习处理，学习综合图像识别器16的CNN。接下来，参照图9对使用这样学习到的综合图像识别器16对识别对象的(未知的)患部的良性/恶性进行识别(推论)的综合图像识别处理进行说明。[0091] 综合图像识别处理的步骤S401以及步骤S402的处理与实施方式1的识别处理(图5)的步骤S201以及步骤S202的各处理相同，所以省略说明。但是，步骤S401的可见光拍摄和步骤S402的可见光拍摄通过高速连拍以连拍基准时间以下的时间间隔进行。也就是说，在步骤S401中获取到的白色光图像数据的拍摄定时与在步骤S402中获取到的紫外光图像数据的拍摄定时的时间差为连拍基准时间以下。[0092] 而且，控制部10将在步骤S401中获取到的白色光图像数据(RGB3ch)和在步骤S402中获取到的紫外光图像数据(RGB3ch)合并成一个来生成综合图像数据(RGB6ch)(步骤S403)。而且，控制部10将生成的综合图像数据输入到综合图像识别器16，获取综合图像识别器16的识别结果(步骤S404)。[0093] 然后，控制部10将综合图像识别器16的识别结果显示于输出部33(步骤S405)，结束综合图像识别处理。[0094] 在上述的综合图像识别处理中，能够使用包含通常的白色光图像数据的信息和能够容易判别角栓的紫外光图像数据的信息双方的信息的综合图像数据来进行识别，所以与以往的(仅基于白色光图像数据的)识别相比较，能够使识别性能提高。另外，使白色光图像数据的拍摄定时与紫外光图像数据的拍摄定时的时间差成为连拍基准时间以下，由此能够极力减少白色光图像数据与紫外光图像数据之间的图像的位置偏移。而且，识别时使用的识别器仅是一个综合图像识别器16，所以能够简化识别处理。[0095] (变形例2)[0096] 在紫外光图像数据中，判别角栓时重要的成分是RG2ch。因此，也考虑将白色图像数据(RGB3ch)和紫外光图像数据中的RG2ch一并输入到一个识别器。对这样的变形例2进行说明。[0097] 如图6所示，变形例2的识别装置102的功能构成是将实施方式1的识别装置100的第一白色光图像识别器13、第一紫外光图像识别器14以及第一最终识别部15置换为综合图像识别器16的构成。该构成与变形例1的识别装置101相同，但相对于由识别装置101的综合图像识别器16作为输入图像数据接受的综合图像数据是RGB6ch量的图像数据，由识别装置102的综合图像识别器16作为输入图像数据接受的综合图像数据是紫外光图像数据中的蓝(B)的ch被除去后的5ch量的图像数据的点不同。变形例2中的综合图像数据是由以高速连拍的方式拍摄到的白色光图像数据的RGB3ch和紫外光图像数据中的RG2ch合并成一个的5ch构成的图像数据。[0098] 也就是说，在变形例2中，综合图像识别器16具有：输入层，其被输入由白色光图像数据获取部11获取到的白色光图像数据的RGB3ch和紫外光图像数据获取部12获取到的紫外光图像数据中的RG2ch合并而成的5ch构成的综合图像数据；输出层，其输出被输入的综合图像数据的识别结果；以及输入层与输出层之间的中间层，从输出层输出识别构成综合图像数据(5ch)的白色光图像数据以及紫外光图像数据中反映的患部的结果。[0099] 识别装置102的其他的构成与识别装置101的构成相同，所以省略说明。另外，除了综合图像数据不是6ch量的数据而是5ch量的数据之外，使综合图像识别器16学习的综合图像学习处理以及综合学习数据生成处理也与变形例1的综合图像学习处理(图7)以及综合学习数据生成处理(图8)相同，所以省略说明。在变形例2中，参照图10说明对识别对象的(未知的)患部的良性/恶性进行识别(推论)的综合图像识别处理。[0100] 变形例2的综合图像识别处理的步骤S451到步骤S452的处理与变形例1的综合图像识别处理(图9)的步骤S401到步骤S402的处理相同，所以省略说明。但是，在步骤S452中，紫外光图像数据获取部12也可以获取由R值以及G值构成的(不包括B值的)紫外光图像数据。[0101] 然后，控制部10将在步骤S451中获取到的白色光图像数据(RGB3ch)和在步骤S452中获取到的紫外光图像数据(RG2ch)合并成一个来生成5ch的综合图像数据(步骤S453)。然后，控制部10将生成的综合图像数据输入到综合图像识别器16，获取综合图像识别器16的识别结果(步骤S454)。[0102] 然后，控制部10将综合图像识别器16的识别结果显示于输出部33(步骤S455)，结束综合图像识别处理。[0103] 在上述的变形例2的综合图像识别处理中，能够使用包含通常的白色光图像数据的信息和能够容易判别角栓的紫外光图像数据的信息双方的信息的综合图像数据来进行识别，所以与以往的(仅基于白色光图像数据)识别相比较，能够使识别性能提高。并且，在变形例2的综合图像识别处理中，将紫外光图像数据作为仅R值以及G值的2ch的数据，所以与变形例1的综合图像处理相比能够减轻处理的负荷，另外，也能够减少学习所需要的数据量。[0104] (变形例3)[0105] 如上所述通过使用紫外光图像数据能够比较简单地判定有无角栓。也考虑利用该情况将学习数据分类成后述的有角栓用的学习数据和无角栓用的学习数据，使用该分类后的学习数据，使有角栓用的识别器和无角栓用的识别器分别学习。以下，对这样的变形例3进行说明。[0106] 如图11所示，变形例3的识别装置103的功能构成是对实施方式1的识别装置100追加了第二白色光图像识别器17、第二紫外光图像识别器18以及第二最终识别部19的构成。[0107] 第二白色光图像识别器17是与第一白色光图像识别器13同样地识别在白色光图像数据中反映的患部的识别器。但是，变形例3的第一白色光图像识别器13是将图像数据中包含角栓的图像数据(有角栓图像数据)中反映的患部作为识别对象的识别器。而且，第二白色光图像识别器17是将图像数据中不能确认角栓的图像数据(虽然也许稍稍存在角栓，但由于几乎不存在荧光，所以不能确认角栓的存在的图像数据。虽然不能断言完全没有角栓，但以下，为了方便称为“无角栓图像数据”)中反映的患部作为识别对象的识别器。[0108] 另外，第二紫外光图像识别器18是与第一紫外光图像识别器14同样地识别在紫外光图像数据中反映的患部的识别器。但是，变形例3的第一紫外光图像识别器14是将紫外光图像数据中有角栓图像数据(也称为有角栓第二图像数据)中反映的患部作为识别对象的识别器，第二紫外光图像识别器18是将紫外光图像数据中无角栓图像数据(也称为无角栓第二图像数据)中反映的患部作为识别对象的识别器。在没有角栓(或者只存在低等级)的情况下，不产生基于角栓的荧光，但如上述那样，例如，若是癌等，则产生其他(例如蓝色～绿色等)的荧光。因此，在第二紫外光图像识别器18中，能够使用基于角栓以外的荧光来识别患部。[0109] 变形例3的第一最终识别部15使用来自第一白色光图像识别器13的输出(包含角栓的白色光图像数据中反映的患部的识别结果)和来自第一紫外光图像识别器14的输出(包含角栓的紫外光图像数据中反映的患部的识别结果)双方来进行后述的采用识别器决定/学习处理，使用由此决定以及学习的采用识别器，得到最终的识别结果。另外，第二最终识别部19使用来自第二白色光图像识别器17的输出(不包含角栓的白色光图像数据中反映的患部的识别结果)和来自第二紫外光图像识别器18的输出(不包含角栓的紫外光图像数据中反映的患部的识别结果)双方进行后述的采用识别器决定/学习处理，使用由此决定以及学习的采用识别器，得到最终的识别结果。[0110] 识别装置103的其他构成与识别装置100的构成相同，所以省略说明。接下来，参照图12对识别装置103中的学习处理亦即有无角栓图像学习处理进行说明。该处理在通过监督学习使第一白色光图像识别器13、第一紫外光图像识别器14、第二白色光图像识别器17、第二紫外光图像识别器18学习时执行，但需要至少在执行后述的有无角栓利用识别处理之前完成执行。[0111] 首先，控制部10为了生成各识别器的CNN的监督学习所需要的综合学习数据集，而执行综合学习数据生成处理(步骤S501)。这里，变形例3中的综合学习数据集所包含的综合图像数据是以高速连拍的方式拍摄到的白色光图像数据的RGB3ch和紫外光图像数据的RGB3ch合并成一个而得到的由RGB6ch构成的图像数据。因此，在步骤S501中执行的综合学习数据生成处理与变形例1中的综合学习数据生成处理(图8)相同。在步骤S501中，控制部10通过生成多个对综合图像数据赋予正确标签的综合学习数据，来生成综合学习数据集。但是，在变形例3中，在综合学习数据生成处理(图8)中，也可以不以高速连拍的方式进行步骤S311的可见光拍摄和步骤S312的可见光拍摄。[0112] 接下来，控制部10通过构成在步骤S501中生成的各综合学习数据的紫外光图像数据所包含的R值以及G值的最大值是否为角栓判定阈值以上，来对该综合学习数据赋予表示角栓的有无的标签(步骤S502)。例如，若各图像数据所包含的各像素值(R值、G值以及B值各个)分别是0以上255以下，角栓判定阈值是128，则在紫外光图像数据所包含的R值的最大值为128以上，或者，G值的最大值为128以上的情况下，对包括该紫外光图像数据的综合学习数据赋予“有角栓”的标签。另外，若紫外光图像数据所包含的R值的最大值小于128，并且，G值的最大值也小于128，则对包括该紫外光图像数据的综合图像数据赋予“无角栓”的标签。[0113] 此外，如上所述，在本实施方式中，“无角栓”的标签并不是表示完全没有角栓，而表示角栓不能基于RGB的像素值确认，即使稍稍存在角栓，在R值以及G值的最大值小于角栓判定阈值的情况(不能确认荧光的情况)下，被赋予“无角栓”的标签。另外，也可以在步骤S502中，不将整个紫外光图像数据作为对象，而对于图像中的患部以外的部分(非肿瘤部分)，通过该部分的图像数据的R值以及G值的最大值是否为角栓判定阈值以上，赋予表示有无角栓的标签。无论如何，在步骤S502中，若成为对象的紫外光图像数据中只要存在一个成为角栓判定阈值以上的R值或者G值，则对包括该紫外光图像数据的综合学习数据赋予“有角栓”的标签。[0114] 此外，这里的角栓判定阈值、标签的赋予方法是一个例子。例如，也可以将角栓判定阈值分成R值的阈值和G值的阈值，若紫外光图像数据所包含的R值的最大值是角栓判定R阈值(例如80)以上，或者，G值的最大值是角栓判定G阈值(例如160)以上，则对包括该紫外光图像数据的综合学习数据赋予“有角栓”的标签。除此以外，若能够判定角栓的有或者无(或者角栓只存在低等级以下)，则能够任意地进行角栓判定阈值的设定。另外，也可以在有无角栓图像学习处理中，对于表示角栓的有无的标签，不管角栓判定阈值，与患部的良性/恶性同样地基于医生的诊断结果进行赋予。[0115] 不局限于上述的方法，控制部10也可以通过任意的方法判定角栓的有无。而且，控制部10可以基于通过任意的方法判定出的角栓的有无，对各综合学习数据赋予表示角栓的有无的标签。步骤S502也被称为有无角栓判定步骤。[0116] 接下来，控制部10使用在步骤S501中生成的综合学习数据集所包含的多个综合学习数据中的、在步骤S502中赋予了“有角栓”的标签的综合学习数据(有角栓用的学习数据)，进行后述的采用识别器决定/学习处理，第一最终识别部15进行采用为有角栓用识别器的识别器(或者识别器的组合)的决定和学习(步骤S503)。在步骤S503中决定的识别器(或者识别器的组合)作为有角栓用识别单元而发挥作用。[0117] 然后，控制部10使用在步骤S501中生成的综合学习数据集所包含的多个综合学习数据中的、在步骤S502中赋予了“无角栓”的标签的综合学习数据(无角栓用的学习数据)进行后述的采用识别器决定/学习处理，第二最终识别部19进行采用为无角栓用识别器的识别器(或者识别器的组合)的决定和学习(步骤S504)，结束有无角栓图像学习处理。在步骤S504中决定的识别器(或者识别器的组合)作为无角栓用识别单元而发挥作用。[0118] 接下来，参照图13对在步骤S503、步骤S504中执行的采用识别器决定/学习处理进行说明。这里，成为该采用识别器决定/学习处理的对象的识别器(因为是成为采用识别器的候补的识别器所以也称为候补识别器)在使用赋予了“有角栓”的标签的综合学习数据的情况下，是第一白色光图像识别器13以及第一紫外光图像识别器14，在使用赋予了“无角栓”的标签的综合学习数据的情况下，是第二白色光图像识别器17以及第二紫外光图像识别器18。[0119] 首先，控制部10对白色光图像数据用的“识别器A”(第一白色光图像识别器13或者第二白色光图像识别器17)进行后述的交叉验证，获取识别器A的评价值即第一评价值(步骤S551)。此外，评价值是指评价识别器的识别结果的正确性的值(例如正解率)。而且，求出评价值时使用的评价数据集是由图像数据及其正确标签构成的评价数据的集合，评价数据集的数据构造与学习数据集相同。[0120] 接下来，控制部10也对紫外光图像数据用的“识别器B”(第一紫外光图像识别器14或者第二紫外光图像识别器18)进行交叉验证，获取识别器B的评价值即第二评价值(步骤S552)。[0121] 而且，控制部10也对“识别器A+识别器B(识别器A的输出值与识别器B的输出值的加法平均)”进行交叉验证，获取“识别器A+识别器B”(识别器A与识别器B的组合)的评价值亦即第三评价值(步骤S553)。步骤S551到步骤S553的处理也称为验证步骤。[0122] 接下来，控制部10将上述的步骤S551～S553中获取到的3个评价值中的与最高的评价值对应的识别器A、识别器B、识别器A和识别器B的组合中的任意一个决定为对应的第一最终识别部15以及第二最终识别部19的一方采用的采用识别器(步骤S554)。步骤S554也称为决定步骤。这里，在使用被赋予了“有角栓”的标签的综合学习数据的情况下，第一最终识别部15决定作为有角栓用识别器采用的采用识别器。另外，在使用赋予了“无角栓”的标签的综合学习数据的情况下，第二最终识别部19决定作为无角栓用识别器采用的采用识别器。[0123] 然后，使用全部的综合学习数据(但是，赋予了该有无角栓标签的学习数据)使该采用识别器学习(步骤S555)，结束采用识别器决定/学习处理。[0124] 这里，参照图14对上述的步骤S551～S553中进行的交叉验证进行说明。一般，在n分割交叉验证中，使用全部的学习数据集中的1/n作为评价数据集，使用剩余的(n－1)/n作为利用该评价数据集进行验证(求出评价值)时的暂时学习数据集。图14的上图示出了n＝3的情况下的例子，即，3分割交叉验证的例子。[0125] 这里，以识别器A为例对从整个学习数据集获取评价值的方法进行说明。但是，在获取评价值时，在本实施方式中识别结果(识别器的输出)以概率给出，所以不能进行正确标签与识别结果的单纯比较。因此，以对正确标签进行数值化后的值(正解值)与识别器的输出(概率)之差越小则成为越大的评价值的方式设定评价值。[0126] 首先，使用学习数据的最初的2/3(训练数据)使识别器A学习。而且，将对学习后的识别器A输入学习数据的剩余的1/3(评价数据)时的识别器A的输出与对(向各评价数据赋予的)正确标签进行数值化后的值(正解值)进行比较。而且，以识别器A的输出与正解值之差越小则评价值1成为越大的值的方式设定评价值1。[0127] 在本实施方式中，识别器A的输出是患部的恶性程度的概率(0.0以上1.0以下)，所以若将正确标签数值化，则例如正确标签为“良性”时的正解值能够定义为0.0，“恶性”时的正解值能够定义为1.0。因此，“识别器A的输出与正解值之差”在正确标签为“良性”时为(识别器A的输出－0.0)，在正确标签为“恶性”时为(1.0－识别器A的输出)。而且，求出对于全部的评价数据加上各评价数据被输入到识别器A时的“识别器A的输出与正解值之差”得到的值(差的总和)，并将该值(差的总和)的倒数作为评价值1。[0128] 接下来，使用学习数据集所包含的学习数据中最初的1/3和后面的1/3作为训练数据使识别器A学习，将使用学习数据的正中间的1/3作为评价数据来评价学习后的识别器A而得到的评价值作为评价值2。而且，使用学习数据集所包含的学习数据中的后面的2/3作为训练数据使识别器A学习，将使用学习数据的最初的1/3作为评价数据来评价学习后的识别器A而得到的评价值作为评价值3。评价值2以及评价值3的计算方法与上述的评价值1的计算方法相同。而且，将评价值1、评价值2、以及评价值3的合计(或者也可以是平均值等)作为从这次使用的整个学习数据集得到的识别器A的评价值(第一评价值)。[0129] 上述中以识别器A为例对评价值(第一评价值)的计算方法进行了说明，但识别器B的评价值(第二评价值)也能够同样地求出。而且，识别器A与识别器B的组合(识别器A+识别器B)的评价值(第三评价值)能够如以下那样求出。[0130] 首先，使用学习数据的最初的2/3作为训练数据使识别器A和识别器B分别学习。然后，将对学习后的识别器A以及识别器B分别输入学习数据的剩余的1/3(评价数据)时的识别器A的输出和识别器B的输出的平均值与对(向各评价数据赋予的)正确标签进行了数值化后的值(正解值)进行比较。然后，以识别器A的输出和识别器B的输出的平均值与正解值之差越小则评价值1成为越大的值的方式设定评价值1。评价值2以及评价值3也同样地求出，将评价值1、评价值2、以及评价值3的合计(或者也可以是平均值等)作为从这次使用的整个学习数据集得到的识别器A以及识别器B的组合(识别器A+识别器B)的评价值(第三评价值)。[0131] 在上述的采用识别器决定/学习处理(图13)的步骤S551～S553中，对于识别器A、识别器B、识别器A+识别器B(识别器A的输出值与识别器B的输出值的加法平均)这3种模式(识别器或者识别器的组合)，分别如上述那样获取从整个学习数据集得到的评价值。而且，在步骤S554中，将得到最高的评价值的模式(识别器或者识别器的组合)决定为采用识别器(即，有角栓用识别器、无角栓用识别器)。然后，在步骤S555中，决定的采用识别器使用综合学习数据集所包含的全部的综合学习数据进行学习。[0132] 但是，图14中的学习数据集在从有无角栓图像学习处理(图12)的步骤S503调用采用识别器决定/学习处理(图13)的情况下是由赋予了“有角栓”标签的全部的综合学习数据构成的学习数据集。另外，在从有无角栓图像学习处理(图12)的步骤S504调用采用识别器决定/学习处理(图13)的情况下，是由赋予了“无角栓”标签的全部的综合学习数据构成的学习数据集。[0133] 例如，若学习数据集由赋予了“有角栓”标签的全部的综合学习数据构成，得到最高评价值的识别器的模式是“识别器A+识别器B(识别器A的输出值与识别器B的输出值的加法平均)”，则第一最终识别部15决定采用“第一白色光图像识别器13的输出值与第一紫外光图像识别器14的输出值的加法平均”作为有角栓用识别器的输出，控制部10使用综合学习数据集所包含的赋予了“有角栓”标签的全部的综合图像数据(由RGB6ch构成的图像数据)使第一白色光图像识别器13和第一紫外光图像识别器14分别学习。[0134] 另外，若学习数据集由赋予了“无角栓”标签的全部的综合学习数据构成，得到最高评价值的识别器的模式是“识别器A”，则第二最终识别部19决定采用“第二白色光图像识别器17”作为无角栓用识别器，控制部10使用综合学习数据集所包含的赋予了“无角栓”标签的全部的综合学习数使第二白色光图像识别器17学习。这样，学习数据集有赋予了“有角栓”标签的学习数据(有角栓用综合学习数据)和赋予了“无角栓”标签的学习数据(无角栓用综合学习数据)这两种，对于有角栓用以及无角栓用分别对从识别器的3个模式(“识别器A”、“识别器B”、“识别器A+识别器B”)中得到最高的评价值的识别器的模式进行学习。[0135] 此外，在上述的说明中，将识别器的模式为“识别器A+识别器B”的情况下的输出值作为“识别器A的输出值与识别器B的输出值的加法平均”，但也可以不局限于加法平均。控制部10也可以例如也将使用各种权重的加权平均的多个模式添加到交叉验证的候补，对于这些全部模式进行上述的交叉验证，将得到最高的评价值的模式的识别器(或者识别器的各种加权平均的组合)决定为所采用的识别器。另外，候补识别器本身也不需要限定为识别器A和识别器B这2个。例如，通过输入对患部的病变区域的周边进行裁剪(切出)并进行将其尺寸正规化的预处理后的图像来识别该患部的识别器、通过输入进行了对拍摄患部得到的图像进行边缘强调的预处理后的图像来识别该患部的识别器等其他的识别器，也与识别器A、识别器B同样地除了候补识别器以外还进行交叉验证。而且，也可以将在这些全部的候补识别器以及候补识别器的组合中通过交叉验证得到最高的评价值的识别器决定为用作识别患部的识别器的采用识别器。[0136] 通过以上说明的采用识别器决定/学习处理和有无角栓图像学习处理，学习第一白色光图像识别器13、第一紫外光图像识别器14、第二白色光图像识别器17以及第二紫外光图像识别器18的CNN。在有无角栓图像学习处理中，能够通过角栓的有无区分学习数据而使各识别器学习。因此，有角栓用的识别器能够仅利用有角栓的图像数据学习，另外，无角栓用的识别器能够仅利用无角栓的图像数据学习，所以能够高效地学习。另外，在采用识别器决定/学习处理中通过进行交叉验证，能够将认为识别性能最高的识别器(或者识别器的组合)决定为采用识别器(第一最终识别部15、第二最终识别部19)。[0137] 接下来，参照图15对在这样学习后对识别对象的(未知的)患部的良性/恶性进行识别(推论)的有无角栓利用识别处理进行说明。[0138] 因为步骤S601以及步骤S602的处理与变形例1的识别处理(图9)的步骤S401以及步骤S402的各处理相同，所以省略说明。但是，在变形例3中，也可以不以高速连拍的方式拍摄步骤S601的可见光拍摄和步骤S602的可见光拍摄。[0139] 然后，控制部10判定在步骤S602中获取到的紫外光图像数据所包含的R值以及G值的最大值是否是角栓判定阈值以上(步骤S603)。步骤S603也被称为有无角栓判定步骤。另外，控制部10在步骤S603中作为有无角栓判定单元发挥作用。[0140] 若紫外光图像数据所包含的R值以及G值的最大值为角栓判定阈值以上(步骤S603；是)，则第一最终识别部15利用通过上述的有无角栓图像学习处理决定的有角栓用识别器来识别患部(步骤S604)。例如，若有角栓用识别器是“识别器A+识别器B(识别器A的输出值与识别器B的输出值的加法平均)”，则第一最终识别部15通过将在步骤S601中获取到的白色光图像数据输入到第一白色光图像识别器13而得到的第一白色光图像识别器13的输出值与将在步骤S602中获取到的紫外光图像数据输入到第一紫外光图像识别器14而得到的第一紫外光图像识别器14的输出值的加法平均来得到最终的识别结果。[0141] 另一方面，若紫外光图像数据所包含的R值以及G值的最大值小于角栓判定阈值(步骤S603；否)，则第二最终识别部19利用通过上述的有无角栓图像学习处理决定的无角栓用识别器来识别患部(步骤S605)。例如，若无角栓用识别器是“识别器A”，则第二最终识别部19通过将在步骤S601中获取到的白色光图像数据输入到第二白色光图像识别器17而得到的第二白色光图像识别器17的输出值，来得到最终的识别结果。[0142] 然后，控制部10将第一最终识别部15或者第二最终识别部19的最终的识别结果显示于输出部33(步骤S606)，结束有无角栓利用识别处理。[0143] 此外，步骤S603中的角栓有无的判定方法是一个例子。既可以与有无角栓图像学习处理(图12)的步骤S502同样地，将角栓判定阈值分成角栓判定R阈值(例如80)和角栓判定G阈值(例如160)来设定，也可以不局限于上述的方法，控制部10通过任意的方法来判定角栓的有无。[0144] 在上述的有无角栓利用识别处理中，利用识别相对较容易的角栓的有无分开使用识别器，由此能够使用根据角栓的有无最佳化后的识别器来识别患部，所以与以往的(仅基于白色光图像数据的)识别相比较，能够使识别性能提高。[0145] (变形例3的变形例)[0146] 在变形例3中，将学习数据分类成有角栓用的学习数据和无角栓用的学习数据，使用分类后的各学习数据，使专用的识别器(有角栓用的识别器以及无角栓用的识别器)分别学习。但是，学习数据的分类方法并不局限于基于角栓的有无的分类。例如，作为变形例3的变形例，也考虑将学习数据分类成面部以及头皮用的学习数据和身体全体用的学习数据，使用分类后的各学习数据使专用的识别器(面部以及头皮用的识别器以及身体全体用的识别器)分别学习的实施方式。[0147] 在变形例3中，将表示角栓的有无的有无角栓标签赋予给各综合学习数据，但在变形例3的变形例中，将表示是拍摄身体的哪个部位的患部得到的图像的部位标签(例如“头皮”、“面部”等)赋予至各综合学习数据，由此将学习数据分类为面部以及头皮用的学习数据(患部的部位为面部或者头皮的学习数据)和身体全体用的学习数据(不依存于患部的部位的学习数据)。[0148] 而且，通过与有无角栓图像学习处理(图12)同样的处理(但是，代替“有角栓”的学习数据而使用部位标签为“头皮”或者“面部”的学习数据，代替“无角栓”的学习数据而(不进行部位筛选)使用全部的学习数据。以下称为“部位利用学习处理”)，学习面部以及头皮用识别器和身体全体用识别器。[0149] 由于角栓在身体部位中，特别是在面部或头皮存在的可能性较高(在面部、头皮以外的身体部位几乎不存在角栓)，所以在拍摄到患部的图像中存在角栓的情况下，该患部是存在于面部或头皮的患部的可能性较高。因此，在变形例3的变形例中，能够通过与有无角栓利用识别处理(图15)同样的处理(但是，在步骤S604中利用面部以及头皮用识别器进行识别，在步骤S605中利用身体全体用识别器进行识别。以下称为“部位利用识别处理”)识别患部。[0150] 在变形例3的变形例中，在上述的部位利用学习处理中，不管有无角栓，都能够基于部位标签使专用于各部位的识别器学习，未检测到角栓时的面部、头皮的学习数据也能够使用于面部以及头皮用识别器的学习。而且，在上述的部位利用识别处理中，若检测到角栓(由于角栓绝大多数的情况下只存在于面部或者头皮)，所以通过使用专用于面部以及头皮的面部以及头皮用识别器，能够进一步提高识别性能。[0151] (其他的变形例)[0152] 此外，在上述的实施方式以及变形例中，通过控制部10执行实现基于CNN的识别器的程序，从而控制部10也作为第一白色光图像识别器13、第一紫外光图像识别器14、综合图像识别器16、第二白色光图像识别器17、第二紫外光图像识别器18发挥作用，但并不局限于此。识别装置100、101、102、103也可以具备与控制部10不同的设备(例如，GPU(GraphicsProcessingUnit：图形处理单元)、专用的IC(IntegratedCircuit：集成电路)等)，通过该设备，也可以实现第一白色光图像识别器13、第一紫外光图像识别器14、综合图像识别器16、第二白色光图像识别器17、第二紫外光图像识别器18的功能。[0153] 另外，上述的实施方式以及变形例能够适当地组合。例如，也可以在变形例3上组合变形例1或者变形例2，代替“识别器A+识别器B(识别器A的输出值与识别器B的输出值的加法平均)”、或者除此之外，使用将白色光图像数据的RGB3ch和紫外光图像数据的RGB3ch合并成一个的6ch的综合图像数据或者将白色光图像数据的RGB3ch和紫外光图像数据的RG2ch合并成一个的5ch的综合图像数据作为输入数据的综合图像识别器16进行识别。[0154] 该情况下，综合图像识别器16也分别准备将有角栓图像数据中反映的患部作为识别对象的第一综合图像识别器、将无角栓图像数据中反映的患部作为识别对象的第二综合图像识别器。而且，在使用有角栓的综合学习数据的采用识别器决定/学习处理的步骤S553中，求出第一综合图像识别器的评价值。然后，在使用无角栓的综合学习数据的采用识别器决定/学习处理的步骤S553中，求出第二综合图像识别器的评价值。[0155] 另外，在实施方式1的识别装置100中，也可以在识别器学习处理(图3)之后进行变形例3的采用识别器决定/学习处理(图13)，将以得到最高评价值的识别器的模式进行识别的结果作为识别处理(图5)的步骤S205中的识别结果。[0156] 另外，在上述的实施方式以及变形例中，使用RGB颜色空间作为表现图像数据的颜色的颜色空间，并使用R值、G值以及B值作为颜色要素进行了说明。但是，颜色空间并不局限于RGB颜色空间。例如，也可以使用YUV颜色空间、Lab颜色空间。[0157] 另外，在上述的实施方式以及变形例中，作为照射部31发出紫外光作为第二照射光的情况进行了说明，但紫外光是例示。只要是角栓等产生荧光反应的光则第二照射光可以是任意的光。例如，照射部31也可以照射接近可见光的紫外光的光(例如波长为410nm～470nm，优选为440nm以下的光)作为第二照射光。[0158] 此外，识别装置100、101、102、103的各功能也能够通过通常的PC(PersonalComputer：个人电脑)等计算机实施。具体而言，在上述实施方式中，作为识别装置100、101、102、103所进行的识别处理等的程序预先存储于存储部20的ROM进行了说明。但是，也可以构成通过将程序储存于软盘、CD－ROM(CompactDiscReadOnlyMemory：光盘只读存储器)、DVD(DigitalVersatileDisc：数字多功能光盘)、MO(Magneto－Opticaldisc：磁光盘)、存储卡、USB(UniversalSerialBus：通用串行总线)存储器等计算机可读取的记录介质并分发，将该程序读入到计算机并安装来实现上述的各功能的计算机。[0159] 以上，对本发明的优选的实施方式进行了说明，但本发明并不局限于所涉及的特定的实施方式，本发明包含有权利要求书所记载的发明和其均等的范围。[0160] 符号说明[0161] 10…控制部，11…白色光图像数据获取部，12…紫外光图像数据获取部，13…第一白色光图像识别器，14…第一紫外光图像识别器，15…第一最终识别部，16…综合图像识别器，17…第二白色光图像识别器，18…第二紫外光图像识别器，19…第二最终识别部，20…存储部，31…照射部，32…拍摄部，33…输出部，34…通信部，35…操作输入部，100、101、102、103…识别装置。

专利地区：日本

专利申请日期：2020-04-13

专利公开日期：2024-07-26

专利公告号：CN113256549B