可左右滑动选省市

一种智能眼镜焦点跟踪方法、装置及智能眼镜、存储介质

更新时间:2024-07-01
一种智能眼镜焦点跟踪方法、装置及智能眼镜、存储介质 专利申请类型:发明专利;
源自:上海高价值专利检索信息库;

专利名称:一种智能眼镜焦点跟踪方法、装置及智能眼镜、存储介质

专利类型:发明专利

专利申请号:CN201811124758.0

专利申请(专利权)人:上海肇观电子科技有限公司,昆山肇观电子科技有限公司
权利人地址:上海市浦东新区中国(上海)自由贸易试验区龙东大道3000号1幢A楼607室

专利发明(设计)人:蔡海蛟,冯歆鹏,周骥

专利摘要:本发明提供了一种智能眼镜焦点跟踪方法、装置及智能眼镜、存储介质,涉及智能设备,该智能眼镜在采集图像后,识别图像中的物体,并向用户播报图像中设定的焦点位置或区域中存在的物体。通过该方法,向用户播报所设定的焦点位置或区域中存在的物体,而不是直接将图像中的物体全部播报出来,从而提高了智能眼镜的播报效率,提高了用户的体验。

主权利要求:
1.一种智能眼镜焦点跟踪方法,其特征在于,包括:
采集图像后,识别图像中的物体;并
当图像中设定的焦点位置或区域中存在物体时,向用户播报图像中设定的焦点位置或区域中存在的物体,所述焦点用于表征视觉图像中心点;
当图像中设定的焦点位置或区域中不存在物体时,提示用户转动头部,或者提示用户图像中设定的焦点位置或区域中不存在物体;用户在听到转动头部的提示或者不存在物体的提示后,转动头部来寻找物体;
其中,当用户转动头部时,根据物体靠近图像中设定的焦点位置或区域的程度,变化提示声音。
2.如权利要求1所述的方法,其特征在于,所述提示用户转动头部,具体包括:当图像中设定的焦点位置或区域中不存在物体时,确定图像中物体所在的方位,并提示用户向物体所在的方位转动头部。
3.如权利要求1所述的方法,其特征在于,所述图像中设定的焦点位置,具体为图像的中心位置;
所述图像中设定的焦点区域,具体为图像中心的面积占比1/3‑1/2的圆形或矩形区域。
4.一种智能眼镜焦点跟踪装置,其特征在于,包括:
识别单元,用于采集图像后,识别图像中的物体;
播报单元,用于当图像中设定的焦点位置或区域中存在物体时,向用户播报图像中设定的焦点位置或区域中存在的物体,所述焦点用于表征视觉图像中心点;
所述播报单元还用于:当图像中设定的焦点位置或区域中不存在物体时,提示用户转动头部,或者提示用户图像中设定的焦点位置或区域中不存在物体;用户在听到转动头部的提示或者不存在物体的提示后,转动头部来寻找物体;
所述播报单元还用于:当用户转动头部时,根据物体靠近图像中设定的焦点位置或区域的程度,变化提示声音。
5.如权利要求4所述的装置,其特征在于,所述播报单元提示用户转动头部,具体包括:当图像中设定的焦点位置或区域中不存在物体时,确定图像中物体所在的方位,并提示用户向物体所在的方位转动头部。
6.如权利要求4所述的装置,其特征在于,所述图像中设定的焦点位置,具体为图像的中心位置;
所述图像中设定的焦点区域,具体为图像中心的面积占比1/3‑1/2的圆形或矩形区域。
7.一种智能眼镜,其特征在于,包括:处理器、摄像头、语音播报装置,其中:所述处理器连接所述摄像头和所述语音播报装置,并通过所述摄像头采集图像,所述处理器识别图像中的物体后,当图像中设定的焦点位置或区域中存在物体时,通过所述语音播报装置向用户播报图像中设定的焦点位置或区域中存在的物体,所述焦点用于表征视觉图像中心点;当图像中设定的焦点位置或区域中不存在物体时,提示用户转动头部,或者提示用户图像中设定的焦点位置或区域中不存在物体;用户在听到转动头部的提示或者不存在物体的提示后,转动头部来寻找物体;
其中,当用户转动头部时,根据物体靠近图像中设定的焦点位置或区域的程度,变化提示声音。
8.如权利要求7所述的智能眼镜,其特征在于,所述语音播报装置具体为扬声器。
9.如权利要求7所述的智能眼镜,其特征在于,还包括:用于判断智能眼镜运动状态的惯性传感器组件,该惯性传感器组件连接所述处理器。
10.如权利要求9所述的智能眼镜,其特征在于,所述惯性传感器组件包括如下之一或组合:用于确定智能眼镜运动速度的速度传感器;
用于确定智能眼镜运动速度的加速度传感器;
用于确定智能眼镜竖直于地心的方向轴的夹角信息的陀螺仪。
11.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序用于实现如权利要求1‑3中任一项所述的方法。 说明书 : 一种智能眼镜焦点跟踪方法、装置及智能眼镜、存储介质技术领域[0001] 本发明属于智能设备领域,具体涉及一种智能眼镜焦点跟踪方法、装置及智能眼镜、存储介质。背景技术[0002] 目前,为便于视障用户生活,有一种为视障用户设计的智能眼镜,该智能眼镜可以采集图像信息,用户佩戴该智能眼镜后,该智能眼镜能够将当前图像中的内容播报给用户,从而为视障用户的生活提供便利。[0003] 但是,本发明的发明人发现,在用户使用智能眼镜时,无法主动选择眼镜的交互中心,此时智能眼镜通常采取的方式是把所有图像中信息一次全部播报出来,而不能第一时间准确锁定需要识别的文字、物体范围,需借助外部物理设备(如手指等)指向被识别点,类似于给设备一个外部介入的指令,设备根据这个指令才可以完成它的功能。[0004] 因此,目前的智能眼镜播报效率较低,且用户无法感受视野中对象的方位,用户体验不佳。发明内容[0005] 鉴于现有技术中的上述缺陷或不足,期望提供一种智能眼镜焦点跟踪方法、装置及智能眼镜、存储介质,以提高智能眼镜的播报效率,提高用户的体验。[0006] 依据本发明的第一方面,提供了一种智能眼镜焦点跟踪方法,包括:[0007] 采集图像后,识别图像中的物体;并[0008] 向用户播报图像中设定的焦点位置或区域中存在的物体。[0009] 进一步,该方法还包括:[0010] 当图像中设定的焦点位置或区域中不存在物体时,提示用户转动头部,或者提示用户图像中设定的焦点位置或区域中不存在物体。[0011] 更进一步,所述当图像中设定的焦点位置或区域中不存在物体时,提示用户转动头部,具体包括:[0012] 当图像中设定的焦点位置或区域中不存在物体时,确定图像中物体所在的方位,并提示用户向物体所在的方位转动头部。[0013] 更进一步,该方法还包括:[0014] 当用户转动头部时,根据物体靠近图像中设定的焦点位置或区域的程度,变化提示声音。[0015] 优选的,所述图像中设定的焦点位置,具体为图像的中心位置;[0016] 所述图像中设定的焦点区域,具体为图像中心的面积占比1/3‑1/2的圆形或矩形区域。[0017] 第二方面,本发明实施例还提供一种智能眼镜焦点跟踪装置,包括:[0018] 识别单元,用于采集图像后,识别图像中的物体;[0019] 播报单元,用于向用户播报图像中设定的焦点位置或区域中存在的物体。[0020] 进一步,所述播报单元还用于:[0021] 当图像中设定的焦点位置或区域中不存在物体时,提示用户转动头部,或者提示用户图像中设定的焦点位置或区域中不存在物体。[0022] 更进一步,所述播报单元当图像中设定的焦点位置或区域中不存在物体时,提示用户转动头部,具体包括:[0023] 当图像中设定的焦点位置或区域中不存在物体时,确定图像中物体所在的方位,并提示用户向物体所在的方位转动头部。[0024] 更进一步,所述播报单元还用于:[0025] 当用户转动头部时,根据物体靠近图像中设定的焦点位置或区域的程度,变化提示声音。[0026] 优选的,所述图像中设定的焦点位置,具体为图像的中心位置;[0027] 所述图像中设定的焦点区域,具体为图像中心的面积占比1/3‑1/2的圆形或矩形区域。[0028] 第三方面,本发明实施例还提供一种智能眼镜,包括:处理器、摄像头、语音播报装置,其中:[0029] 所述处理器连接所述摄像头和所述语音播报装置,并通过所述摄像头采集图像,所述处理器识别图像中的物体后,通过所述语音播报装置向用户播报图像中设定的焦点位置或区域中存在的物体。[0030] 进一步,所述语音播报装置具体为扬声器。[0031] 进一步,该智能眼镜还包括:[0032] 用于判断智能眼镜运动状态的惯性传感器组件,该惯性传感器组件连接所述处理器。[0033] 更进一步,所述惯性传感器组件包括如下之一或组合:[0034] 用于确定智能眼镜运动速度的速度传感器;[0035] 用于确定智能眼镜运动速度的加速度传感器;[0036] 用于确定智能眼镜方向信息的磁力计;[0037] 用于确定智能眼镜竖直于地心的方向轴的夹角信息的陀螺仪。[0038] 第四方面,本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序用于实现如第一方面中所述的方法。[0039] 本发明实施例提供一种智能眼镜焦点跟踪方法、装置及智能眼镜、存储介质,在采集图像后,识别图像中的物体,并向用户播报图像中设定的焦点位置或区域中存在的物体。通过该方法,向用户播报所设定的焦点位置或区域中存在的物体,而不是直接将图像中的物体全部播报出来,从而提高了智能眼镜的播报效率,提高了用户的体验。[0040] 应当理解,上述说明仅是本发明技术方案的概述,以便能够更清楚地了解本发明的技术手段,从而可依照说明书的内容予以实施。为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举说明本发明的具体实施方式。附图说明[0041] 通过阅读下文的示例性实施例的详细描述,本领域普通技术人员将明白本文所述的有点和益处以及其他优点和益处。附图仅用于示出示例性实施例的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的标号表示相同的部件。在附图中:[0042] 图1为本发明实施例提供的智能眼镜焦点跟踪方法流程图;[0043] 图2为本发明实施例提供的图像中设定的焦点位置和图像中设定的焦点区域示意图;[0044] 图3为本发明实施例提供的一个具体实施例中的智能眼镜焦点跟踪方法流程图;[0045] 图4为本发明实施例提供的智能眼镜焦点跟踪装置结构示意图;[0046] 图5为本发明实施例提供的智能眼镜结构示意图;[0047] 图6为本发明实施例提供的一个具体实施例中的智能眼镜结构示意图。具体实施方式[0048] 下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。[0049] 在本发明中,应理解,诸如“包括”或“具有”等术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在,并且不旨在排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在的可能性。[0050] 另外还需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。[0051] 在图1中,示出了本发明实施例提供的智能眼镜焦点跟踪方法,该方法包括:[0052] 步骤S101、采集图像后,识别图像中的物体;[0053] 步骤S102、向用户播报图像中设定的焦点位置或区域中存在的物体。[0054] 通过该智能眼镜焦点跟踪方法,向用户播报所设定的焦点位置或区域中存在的物体,而不是直接将图像中的物体全部播报出来,从而提高了智能眼镜的播报效率,提高了用户的体验。[0055] 步骤S101中的物体可以为任意物体,也可以为事先定义的指定物体。[0056] 进一步,对于视障用户来说,可能难以将智能眼镜的焦点很好的对准目标物体,此时,可以在图像中设定的焦点位置或区域中不存在物体时,提示用户转动头部,或者提示用户图像中设定的焦点位置或区域中不存在物体。[0057] 用户在听到转动头部的提示或者不存在物体的提示后,可以随意转动头部来寻找物体。[0058] 更进一步的,为便于用户寻找物体,当图像中设定的焦点位置或区域中不存在物体时,可以确定图像中物体所在的方位,并提示用户向物体所在的方位转动头部。例如,若图像中的焦点左侧存在文字或者二维码,即可提示用户焦点的左侧有文字或二维码,让用户向左转动头部。[0059] 在用户转动头部的过程中,可以根据物体靠近图像中设定的焦点位置或区域的程度,变化提示声音,从而便于视障用户确定转动头部的程度,有利于用户更准确的进行焦点定位,此时,用户可以是根据提示的物体所在的方位转动头部,也可以是用户随意转动头部寻找物体。[0060] 例如,当物体越靠近图像中设定的焦点位置或区域时,提示声音可以越急促,从而便于用户判断头部转动方向是否正确及头部转动的程度是否合适。也可以通过其他具有独特性的语音提示来提醒用户,物体是否已到达摄取范围的中心。[0061] 如图2所示,图像中设定的焦点位置,可以具体为图像的中心位置;图像中设定的焦点区域,则可以具体为图像中心的面积占比1/3‑1/2的圆形或矩形区域,本领域技术人员可以根据实际情况对图像中设定的焦点位置和图像中设定的焦点区域的范围的初始设置进行调整,用户也可以根据自己的使用习惯来调整图像中设定的焦点位置和图像中设定的焦点区域的范围。[0062] 在优选的实施例中,本发明实施例提供的智能眼镜焦点跟踪方法,如图3所示,包括:[0063] 步骤S301、获取摄像头采集的图像;[0064] 步骤S302、识别图像中的物体;[0065] 步骤S303、判断图像中心位置是否存在物体,如果是,执行步骤S304,否则,执行步骤S305;[0066] 步骤S304、语音播报图像中心位置的物体;[0067] 步骤S305、判断整个图像区域中是否存在物体,如果是,执行步骤S306,否则,执行步骤S307;[0068] 步骤S306、确定图像中物体所在的方位,并提示用户向物体所在的方位转动头部;[0069] 步骤S307、提示用户图像中不存在物体,或者提示用户转动头部。[0070] 在步骤S301中,在摄像头采集图像时,一般都是在智能眼镜处于相对稳定的状态中,如果智能眼镜正在以较高的速度运动,此时一般不采集图像,可以通过智能眼镜运动的速度、加速度,来判断用户的头部转动情况。[0071] 在步骤S303中,可以只识别图像中心位置是否存在物体,也可以识别图像中心位置及其周围设定区域中是否存在物体。[0072] 在步骤S307中,提示用户图像中不存在物体后,用户可以根据提示随意转动头部寻找物体。[0073] 步骤S306和步骤S307的提示功能,也可以由用户决定开启或关闭,若用户没有开启提示,则用户等不到播报,就可以确定图像中不存在物体,用户可以根据提示随意转动头部寻找物体。[0074] 通过该智能眼镜,用户想了解环境信息时,可以通过头部转动来了解具体方位的对象信息。例如,视障用户到了一个大厅,想了解大厅的布局,有什么东西时,可以通过头部转动来了解特定方位的物体信息。对于文字、二维码等特殊信息,如果图像中心有文字,则直接播报,如果文字在中心区域的左侧时,则提示左方有文字,用户可以向左转头部,当文字在图像中心时则播报出来。[0075] 图像的设定的焦点位置,可以根据用户设置加注标记或者不加注标记,对于视力正常的用户使用的穿戴式设备(如VR)来说,可以在图像的设定的焦点位置加注十字标记,如图2中所示,从而示意该点为视觉图像中心点,便于用户进行判断和调整,对于视障用户,则可以不加注标记。[0076] 同样的,图像的设定的焦点区域,也可以根据用户设置加注标记或者不加注标记,对于视力正常的用户使用的穿戴式设备(如VR)来说,可以将图像的设定的焦点区域用特殊边框框出,例如红色边框,从而示意该区域为视觉图像中心区域,便于用户进行判断和调整,对于视障用户,则可以不加注标记。[0077] 在图像的设定的焦点位置有特征信息时(例如文字、二维码等特征信息),直接播报,播报的范围以该位置向四周扩散至1/3‑1/2(该比例可调)图像面积区域内。[0078] 本发明实施例还相应提供一种智能眼镜焦点跟踪装置,如图4所示,包括:[0079] 识别单元401,用于采集图像后,识别图像中的物体;[0080] 播报单元402,用于向用户播报图像中设定的焦点位置或区域中存在的物体。[0081] 进一步,播报单元402还用于:[0082] 当图像中设定的焦点位置或区域中不存在物体时,提示用户转动头部,或者提示用户图像中设定的焦点位置或区域中不存在物体。[0083] 更进一步,播报单元402当图像中设定的焦点位置或区域中不存在物体时,提示用户转动头部,具体包括:[0084] 当图像中设定的焦点位置或区域中不存在物体时,确定图像中物体所在的方位,并提示用户向物体所在的方位转动头部。[0085] 更进一步,播报单元402还用于:[0086] 当用户转动头部时,根据物体靠近图像中设定的焦点位置或区域的程度,变化提示声音。[0087] 进一步,图像中设定的焦点位置,具体为图像的中心位置;[0088] 图像中设定的焦点区域,具体为图像中心的面积占比1/3‑1/2的圆形或矩形区域。[0089] 本发明实施例还提供一种智能眼镜,如图5所示,包括:处理器501、摄像头502、语音播报装置503,其中:[0090] 处理器501连接摄像头502和语音播报装置503,并通过摄像头502采集图像,处理器501识别图像中的物体后,通过语音播报装置503向用户播报图像中设定的焦点位置或区域中存在的物体。[0091] 语音播报装置503可以具体为扬声器。[0092] 进一步,如图6所示,该智能眼镜中还可以包括:[0093] 用于判断智能眼镜运动状态的惯性传感器组件504,该惯性传感器组504件连接处理器501。[0094] 更进一步,惯性传感器组件504包括如下之一或组合:[0095] 用于确定智能眼镜运动速度的速度传感器;[0096] 用于确定智能眼镜运动速度的加速度传感器;[0097] 用于确定智能眼镜竖直于地心的方向轴的夹角信息的陀螺仪。[0098] 通过本发明实施例提供的智能眼镜焦点跟踪方法、装置及智能眼镜、存储介质,可以向用户播报视野中设定的焦点位置或设定的焦点区域中的物体,避免了将视野中的物体全部播报出来,并能进一步提示用户物体的方位,便于用户跟踪物体,提高用户的使用体验。[0099] 附图中的流程图和框图,图示了按照本公开各种实施例的方法、装置和运算机可读存储介质的可能实现的体系架构、功能和操作。应当注意,流程图中的每个方框所表示的步骤未必按照标号所示的顺序进行,有时可以基本并行地执行,有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的硬件来实现,或者可以用硬件与运算机指令的组合来实现。[0100] 描述于本公开实施例中所涉及到的单元或模块可以通过软件的方式实现,也可以通过硬件的方式来实现。[0101] 通过以上对实施例的描述,本领域的技术人员可以清楚地了解到各实施例可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该运算机软件产品可以存储在运算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台运算机设备(可以是个人运算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。[0102] 最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

专利地区:上海

专利申请日期:2018-09-26

专利公开日期:2024-06-18

专利公告号:CN110955043B

电话咨询
读内容
搜本页
回顶部