一种用于APP无障碍智能检测的功能图标智能导航方法

专利名称：一种用于APP无障碍智能检测的功能图标智能导航方法

专利类型：发明专利

专利申请号：CN202110850886.9

专利申请（专利权）人：浙江大学
权利人地址：浙江省杭州市西湖区余杭塘路866号

专利发明（设计）人：卜佳俊,任富彬,周晟,王炜,于智

专利摘要：一种用于APP无障碍智能检测的功能图标智能导航方法，首先是将获得的APP屏幕截图按照设定比例切分为上中下三部分，其次是对切分后的图像与标准库中的图标图像进行灰度与二值化的处理，然后分别对处理后的切分图像与标准库图标图像进行SIFT与ORB算子的特征值提取，之后使用Flann算法进行特征的匹配，得到切分图像中功能图标的一系列可能位置，最后K‑means聚类方法将一系列点聚类为一个点同时排除异常点。本发明综合运用了灰度化与二值化消噪方法、SIFT与ORB图像特征抽取方法，Flann特征匹配算法与K‑means点集消噪方法，在APP的自动检测过程中对页面中的跳转功能图标进行准确的定位，从而协助自动检测脚本遍历检查整个APP中的所有页面。

主权利要求：
1.一种用于APP无障碍智能检测的功能图标智能导航方法，其特征在于包括以下步骤：S1：首先读取获得的APP页面截图，并根据预设的经验比例数据进行上中下的图片切割；
S2：对步骤S1中获得的三个位置的截图，根据由于位置的不同所带来的复杂性的不同，使用特定化的参数以及不同的位置置信度限制，然后根据针对不同位置的图像处理方案依次进行特征匹配得到一系列匹配点；所述的使用特定化的参数以及不同的位置置信度限制，具体包括：S21：对于切割下来的上部分的图片，设置的Flann特征值差异阈值为0.4，即标准图标图片的特征与切割下来的检测图片的特征的比值差异小于0.4，同时设置位置限制，更加相信在APP的上部图片中可以影响页面跳转的功能图标会在页面位置的左右1/4的范围内，从而减少噪声；
S22：对于切割下来的中部图片，设置的Flann特征值差异阈值为0.48，即标准图标图片的特征与切割下来的检测图片的特征的比值差异小于0.48，同时设置位置限制，更加相信在APP的中部图片中可以影响页面跳转的功能图标会在页面位置的左右1/3的范围内，从而减少噪声；
S23：对于切割下来的下部图片，设置的Flann特征值差异阈值为0.5，即标准图标图片的特征与切割下来的检测图片的特征的比值差异小于0.5，由于结构简单因此不设置位置限制；
所述的针对不同位置的图像处理方案，具体包括：
S401：对于上部的切割图片，先在灰度下进行的特征点匹配，若是没有匹配项，则将Flann特征值差异阈值为0.6，再进行二值化处理下的特征点匹配，得到一系列匹配点；
S402：对于中部的切割图片，先进行二值化处理下的特征点匹配，若是没有匹配项，则将Flann特征值差异阈值为0.55，再进行灰度处理下的特征点匹配，得到一系列匹配点；
S403：对于下部的切割图片，先进行二值化处理下的特征点匹配，若是没有匹配项，则将Flann特征值差异阈值为0.6，再进行灰度处理下的特征点匹配，得到一系列匹配点；
S3：对在步骤S2中得到的一系列匹配点，使用K‑means聚类方法，聚类得到最终的定位点，同时排除噪声匹配点集，并以其为圆心做出功能图标的可能位置范围。
2.根据权利要求1所述的一种用于APP无障碍智能检测的功能图标智能导航方法，其特征在于：步骤S1所述的预设的经验比例数据是：1:5:4。
3.根据权利要求1所述的一种用于APP无障碍智能检测的功能图标智能导航方法，其特征在于：步骤S401‑403所述的特征点匹配的方法具体包括：S501：在获得特定处理后的图像后，首先使用ORB算法提取目标检测图像与标准库中存在的标准图标图像的特征值；
S502:使用Flann方法计算特征间的距离，然后寻找距离比值差异在设定阈值内匹配点，放入到匹配集合中；
S503：若是ORB算法提取的特征值无法找到相应的匹配集，则使用SIFT算法提取目标检测图像与标准库中存在的标准图标图像的特征值，重复S502的步骤；
S504：若是S503步骤之后还是找不到相应集合，则判断检测图片内没有相关图标。 说明书 : 一种用于APP无障碍智能检测的功能图标智能导航方法
技术领域：[0001] 本发明属于信息无障碍领域，具体涉及运用于无障碍智能检测时的智能导航方法。背景技术：[0002] 十年来互联网的发展突飞猛进，互联网上的APP产量与使用量呈指数的态势在增长，然而几乎所有的APP在设计与后期维护中都将用户假设为了正常的用户，而没有去考虑社会中的弱势群体：障碍人士与老年人士。[0003] 无障碍建设的前提是需要一套高效率的自动检测系统，自动监测系统需要模拟人的点击操作如返回(back)或者关闭(close)去在一个个APP页面间跳转，然后由相关的挂件程序去检测每个APP页面的无障碍适配，从而检测APP的所有页面。然而作为一个第三方检测工具，是无法接触到页面的源码，如何在不接触源码的情况下获得功能按键的定位就变成了一个技术难题，因此现在急需要一种能够为智能无障碍检测导航的方法发明内容：[0004] 针对现有的无障碍智能检测的现实问题，本发明提出了一种适用于APP无障碍智能检测过程中功能图标智能导航的方法，使用本发明的方法可以协助检测程序快速、准确的找到页面跳转的关键功能按钮，导航生成的位置有很好的实际表现，可提高整个无障碍智能检测的效率，大幅减少漏检测页面与检测时间，具有较好的实用性。[0005] 一种用于APP无障碍智能检测的功能图标智能导航方法，具体步骤如下：[0006] S1：首先读取获得的APP页面截图，并根据预设的经验比例数据进行上中下的图片切割；[0007] S2：对步骤S1中获得的三个位置的截图，根据由于位置的不同所带来的复杂性的不同，使用特定化的参数以及不同的位置置信度限制，然后根据针对不同位置的图像处理方案依次进行特征匹配得到一系列匹配点；[0008] S3：对在步骤S2中得到的一系列匹配点，使用K‑means聚类方法，聚类得到最终的定位点，同时排除噪声匹配点集，并以其为圆心做出功能图标的可能位置范围。[0009] 优选地，步骤S1所述的预设的经验比例数据是：1:5:4。[0010] 步骤S2所述的使用特定化的参数以及不同的位置置信度限制，具体包括：[0011] S21：对于切割下来的上部分的图片，我们设置的Flann特征值差异阈值为0.4，即标准图标图片的特征与切割下来的检测图片的特征的比值差异小于0.4，同时我们设置位置限制，更加相信在APP的上部图片中可以影响页面跳转的功能图标会在页面位置的左右1/4的范围内，从而减少噪声；[0012] S22：对于切割下来的中部图片，我们设置的Flann特征值差异阈值为0.48，即标准图标图片的特征与切割下来的检测图片的特征的比值差异小于0.48，同时我们设置位置限制，更加相信在APP的中部图片中可以影响页面跳转的功能图标会在页面位置的左右1/3的范围内，从而减少噪声；[0013] S23：对于切割下来的下部图片，我们设置的Flann特征值差异阈值为0.5，即标准图标图片的特征与切割下来的检测图片的特征的比值差异小于0.5，由于结构简单因此不设置位置限制。[0014] 步骤S2所述的针对不同位置的图像处理方案的具体方案如下：[0015] S401：对于上部的切割图片，先在灰度下进行的特征点匹配，若是没有匹配项，则将Flann特征值差异阈值为0.6，再进行二值化处理下的特征点匹配，得到一系列匹配点；[0016] S402：对于中部的切割图片，先进行二值化处理下的特征点匹配，若是没有匹配项，则将Flann特征值差异阈值为0.55，再进行灰度处理下的特征点匹配，得到一系列匹配点；[0017] S403：对于下部的切割图片，先进行二值化处理下的特征点匹配，若是没有匹配项，则将Flann特征值差异阈值为0.6，再进行灰度处理下的特征点匹配，得到一系列匹配点。[0018] 步骤S401‑403所述的针对特定图像处理下的特征点匹配，具体包括：[0019] S501：在获得特定处理后的图像后，首先使用ORB算法提取目标检测图像与标准库中存在的标准图标图像的特征值；[0020] S502:使用Flann方法计算特征间的距离，然后寻找距离比值差异在设定阈值内匹配点，放入到匹配集合中；[0021] S503：若是ORB算法提取的特征值无法找到相应的匹配集，则使用SIFT算法提取目标检测图像与标准库中存在的标准图标图像的特征值，重复S502的步骤；S504：若是S503步骤之后还是找不到相应集合，则判断该切割区域没有相关图标。[0022] 综上，本发明创建了一种用于APP无障碍智能检测的功能图标智能导航方法，具有如下有益效果：(1)可综合灰度化与二值化消噪方法、SIFT与ORB图像特征抽取方法，Flann特征匹配算法与K‑means点集消噪方法，在图像特征空间中对标准库中的图像进行综合而准确的表达的同时运用算法聚类定位导航，从而将程序精准导航到页面关键元素上(2)结构简单，整个算法流程简单明了，对于客户端的要求低，相较于深度神经网络模型成本更小，普适性更高。(3)首个综合运用灰度化与二值化消噪方法、SIFT与ORB图像特征抽取方法，Flann特征匹配算法与K‑means点集消噪方法来协助无障碍智能检测的定位导航方法，具有很强的针对性为后续无障碍的自动检测研究提供了重要的基础。附图说明：[0023] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。[0024] 图1是本发明方法的总体流程图。[0025] 图2是本发明方法的总体流程图中基于ORB算法匹配的流程图。[0026] 图3是本发明方法的总体流程图中基于SIFT算法匹配的流程图。[0027] 图4是本发明方法所使用的图像处理方案以及阈值变化的具体流程。[0028] 图5是本发明方法所使用的针对特定图像处理下的特征点匹配方法。具体实施方法：[0029] 以下将参照附图，通过实施例方式详细地描述本发明提供的智能导航方法。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。[0030] 本文中描述的各种技术可以用于但不限于无障碍智能检测研究技术领域，还可以用于其它类似领域。[0031] 本实例以一组来自于某APP的界面截图为例，方法包括如下具体步骤：[0032] S1：首先读取获得的APP页面截图，并根据预设的经验比例数据进行上中下的图片切割；[0033] S2：对步骤S1中获得的三个位置的截图，根据由于位置的不同所带来的复杂性的不同，使用特定化的参数以及不同的位置置信度限制，然后根据针对不同位置的图像处理方案依次进行特征匹配得到一系列匹配点[0034] S3：对在步骤S2中得到的一系列匹配点，使用K‑means聚类方法，聚类得到最终的定位点，同时排除噪声匹配点集，并以其为圆心做出功能图标的可能位置范围。[0035] 图1示出了本发明提供的智能导航方法的总体流程图。[0036] 图2示出了本发明提供的智能导航方法的总体流程图中基于ORB算法匹配的流程图。[0037] 图3示出了本发明提供的智能导航方法的总体流程图中基于SIFT算法匹配的流程图[0038] 表1[0039][0040] 表1示出了本发明提供的智能导航方法其中所使用的使用特定化的参数以及不同的位置置信度限制的具体参数情况：S21：对于切割下来的上部分的图片，我们设置的Flann特征值差异阈值为0.4，即标准图标图片的特征与切割下来的检测图片的特征的比值差异小于0.4，同时我们设置位置限制，更加相信在APP的上部图片中可以影响页面跳转的功能图标会在页面位置的左右1/4的范围内，从而减少噪声；S22：对于切割下来的中部图片，我们设置的Flann特征值差异阈值为0.48，即标准图标图片的特征与切割下来的检测图片的特征的比值差异小于0.48，同时我们设置位置限制，更加相信在APP的中部图片中可以影响页面跳转的功能图标会在页面位置的左右1/3的范围内，从而减少噪声；S23：对于切割下来的下部图片，我们设置的Flann特征值差异阈值为0.5，即标准图标图片的特征与切割下来的检测图片的特征的比值差异小于0.5，由于结构简单因此不设置位置限制。[0041] 图4示出了本发明提供的智能导航方法其中所使用的图像处理方案以及阈值变化的具体流程：S401：对于上部的切割图片，先在灰度下进行的特征点匹配，若是没有匹配项，则将Flann特征值差异阈值为0.6，再进行二值化处理下的特征点匹配，得到一系列匹配点；S402：对于中部的切割图片，先进行二值化处理下的特征点匹配，若是没有匹配项，则将Flann特征值差异阈值为0.55，再进行灰度处理下的特征点匹配，得到一系列匹配点；S403：对于下部的切割图片，先进行二值化处理下的特征点匹配，若是没有匹配项，则将Flann特征值差异阈值为0.6，再进行灰度处理下的特征点匹配，得到一系列匹配点。[0042] 图5示出了本发明提供的智能导航方法其中所使用的针对特定图像处理下的特征点匹配方法，具体步骤如下：S501：在获得特定处理后的图像后，首先使用ORB算法提取目标检测图像与标准库中存在的标准图标图像的特征值；S502:使用Flann方法计算特征间的距离，然后寻找距离比值差异在设定阈值内匹配点，放入到匹配集合中；S503：若是ORB算法提取的特征值无法找到相应的匹配集，则使用SIFT算法提取目标检测图像与标准库中存在的标准图标图像的特征值，重复S502的步骤；S504：若是S503步骤之后还是找不到相应集合，则判断该切割区域没有相关图标。[0043] 本发明综合运用了灰度化与二值化消噪方法、SIFT与ORB图像特征抽取方法，Flann特征匹配算法与K‑means点集消噪方法，在APP的自动检测过程中对页面中的跳转功能图标进行准确的定位，从而协助自动检测脚本遍历检查整个APP中的所有页面；本发明具有结构简单、运行速度快，所需算力资源小的优点，无需高端的智能手机都可以快速正常运行，具有很好的实用性。[0044] 本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

专利地区：浙江

专利申请日期：2021-07-27

专利公开日期：2024-07-26

专利公告号：CN113821432B