一种基于增强现实的空间范围感知方法发明专利

专利名称：一种基于增强现实的空间范围感知方法

专利类型：发明专利

专利申请号：CN202210246643.9

专利申请（专利权）人：东南大学
权利人地址：江苏省南京市玄武区四牌楼2号

专利发明（设计）人：朱利丰,张恒

专利摘要：本发明公开了一种基于增强现实的空间范围感知方法，在教育，测量以及场景布置等应用场景下，本发明通过增强现实眼镜来为使用者提供直接的空间感知体验，方法包括：首先注册需要观察的装置，根据需要观察的装置的物理特性计算其作用范围，然后使用增强现实眼镜来该装置的作用范围进行可视化显示，从而实现帮助使用者感知空间范围的目的。本发明可以有效帮助使用者感知多种本不可见的空间范围。

主权利要求：
1.一种基于增强现实的空间范围感知方法，其特征在于：包括以下步骤：步骤一、初始化动作捕捉系统，建立全局坐标系，注册需要进行观察的设备，所述设备指所有可以与外部世界交互的设备，并需要在设备以及增强现实眼镜上布置标志物，标志物的数量大于等于4；
增强现实眼镜与动作捕捉系统通过UDP协议进行连接，传输所有注册成功的设备的位置与姿态；
增强现实眼镜需要对动作捕捉系统传输的数据进行解析，并反向解算出所有其他设备的相对位置与姿态；
步骤二、根据需要进行观察的设备的物体特性，计算其作用范围；
设备的作用范围应该根据具体设备进行计算，不同种设备的作用范围计算方式不同，同一种设备的不同个体也会有不同的作用范围；
步骤三、使用增强现实眼镜对作用范围进行可视化；
所述可视化的具体方法包括：
令设备的作用范围为R，使用一个或多个半透明的几何体P来对R进行可视化，几何体P由三角形面片构成，几何体P应在空间中保持稳定，不随使用者的移动而移动，但需随着R的变化而变化，几何体P的颜色可以由使用者通过交互界面指定；
当作用范围R部分脱离使用者的视野时，几何体P将被裁减，只显示仍然保留在使用者视野中的作用范围，但动作捕捉系统仍然需要对设备进行追踪，并实时更新其位置与姿态，传输给增强现实眼镜，当设备的作用范围R重新进入使用者的视野时，对几何体P进行重新显示，同时保证全局位置的正确性；
步骤四、使用者可以直接对作用范围进行观察，并与作用范围进行交互；
使用增强现实眼镜对使用者的身体表面，以及使用者的双手进行三角面片重建，包含以下步骤：（1）通过增强现实眼镜获取使用者前方的彩色图像，使用深度神经网络对图像进行分割出来，得到使用者的身体在图像中的掩膜；
（2）通过增强现实眼镜获取使用者前方的深度图像，借助步骤（1）中获取的掩膜得到使用者部分身体的点云数据；
（3）利用步骤（2）中获取的点云数据对使用者的部分身体进行三角面片重建，对于不在视野内的身体部分，不做处理；
（4）通过增强现实眼镜直接获取使用者手的三角面片重建模型；
用户与几何体P的交互操作包括：
（1）使用者可以随意移动，直接对几何体P进行观察，走近或远离几何体P，当使用者的身体与几何体P发生重叠，使用发光的轮廓线将重叠的交界处显示出来，方便使用者观察交界区域，当使用者完全进入几何体P，使用者的视野会被叠加上与几何体P颜色相同的颜色，以此来表示使用者已经完全进入几何体P；
（2）使用者可以使用双手来与几何体进行交互，使用者的手会使用三角面片进行覆盖，当使用者的手与几何体P的最小距离小于阈值d时，将沿着手的朝向射出一道射线，并在该射线与几何体P地相交点显示一个标记，表示手与几何体的可能相交点，当使用者的手部分进入几何体P，在几何体P内部的三角面片将会停止显示，只留下外部的三角面片，使用者将只能观察到留在几何体P外部的面片，提供更加清晰的边界，当使用者的手完全进入几何体P，手部的所有三角面片将不会显示；
（3）使用者可以通过交互界面选择特定的几何体P，并更改几何体P的显示模式，包括几何体的颜色、几何体的透明度、几何体的轮廓、几何体的边缘衰减效果；
（4）使用者可以通过交互界面选择几何体P的观测模式；
步骤四中几何体P的观测模式为：
（1）不同设备的作用范围相互独立，对这些作用范围分别进行可视化，即使作用范围发生了相交的情况，也不做特殊处理；
（2）在观察不同设备的作用范围的同时，对不同设备作用范围的相交区域也进行观察，一旦作用范围相交，产生相交区域R相交，使用一个几何体P相交对R相交进行可视化，R相交的颜色与透明度同样可以由使用者指定，R相交发生改变之后，P相交也进行相应的变化；
（3）只观察不同设备作用范围的相交区域R相交，而不显示设备的作用范围。
2.根据权利要求1所述的一种基于增强现实的空间范围感知方法，其特征在于：步骤一中，所述设备包括相机、音响设备和机械臂。
3.根据权利要求1所述的一种基于增强现实的空间范围感知方法，其特征在于：步骤一中，所述动作捕捉系统包括OptiTrack和NOKOV。
4.根据权利要求3所述的基于增强现实的空间范围感知方法，其特征在于，步骤四中获取几何体P1与几何体P2的相交区域几何体P相交包括如下步骤：（1）获取几何体P1的补集 P1；
~
（2）去掉几何体P2中所有在几何体 P1内部的三角面片，得到P3；
~
（3）获取几何体P3的补集 P3；
~
（4）去掉几何体 P1中所有在几何体 P3内部的三角面片，得到P4；
~ ~
（5）去掉几何体 P3中所有在几何体P4内部的三角面片，得到P5；
~
（6）将几何体P5与几何体~P3的三角面片进行合并，得到P相交。 说明书 : 一种基于增强现实的空间范围感知方法技术领域[0001] 本发明涉及教育以及测量领域，具体为一种基于增强现实的空间范围感知方法。背景技术[0002] 生活中有很多装置拥有自己的作用范围，比如相机、音响，机械臂等。这些装置的作用范围作为一种虚拟的概念无法被人类直接通过视觉捕捉，这给人的生活带来了诸多不便，甚至造成威胁到人的生命。一方面，在不知道作用范围的情况下，无法最高效的利用装置；另一方面，在不知道作用范围的情况下，操作危险机械装置可能对人的生命造成严重的损害。发明内容[0003] 为解决上述技术问题，本发明提出了一种基于增强现实的空间范围感知方法，以解决现实生活中人类无法直接通过视觉感知装置空间范围的问题。[0004] 为达到上述目的，本发明的技术方案如下：[0005] 一种基于增强现实的空间范围感知方法，其特征在于：包括以下步骤：[0006] 步骤一、初始化动作捕捉系统，建立全局坐标系，注册需要进行观察的设备，所述设备指所有可以与外部世界交互的设备，并需要在设备以及增强现实眼镜上布置标志物，标志物的数量大于等于4；[0007] 增强现实眼镜与动作捕捉系统通过UDP协议进行连接，传输所有注册成功的设备的位置与姿态；[0008] 增强现实眼镜需要对动作捕捉系统传输的数据进行解析，并反向解算出所有其他设备的相对位置与姿态；[0009] 步骤二、根据需要进行观察的设备的物体特性，计算其作用范围；[0010] 设备的作用范围应该根据具体设备进行计算，不同种设备的作用范围计算方式不同，同一种设备的不同个体也会有不同的作用范围；[0011] 步骤三、使用增强现实眼镜对作用范围进行可视化；[0012] 所述可视化的具体方法包括：[0013] 令设备的作用范围为R，使用一个或多个半透明的几何体P来对R进行可视化，几何体P由三角形面片构成。几何体P应在空间中保持稳定，不随使用者的移动而移动，但需随着R的变化而变化，几何体P的颜色可以由使用者通过交互界面指定；[0014] 当作用范围R部分脱离使用者的视野时，几何体P将被裁减，只显示仍然保留在使用者视野中的作用范围，但动作捕捉系统仍然需要对设备进行追踪，并实时更新其位置与姿态，传输给增强现实眼镜，当设备的作用范围R重新进入使用者的视野时，对几何体P进行重新显示，同时保证全局位置的正确性；[0015] 步骤四、使用者可以直接对作用范围进行观察，并与作用范围进行交互；[0016] 使用增强现实眼镜对使用者的身体表面，以及使用者的双手进行三角面片重建，包含以下步骤：[0017] (1)通过增强现实眼镜获取使用者前方的彩色图像，使用深度神经网络对图像进行分割出来，得到使用者的身体在图像中的掩膜；[0018] (2)通过增强现实眼镜获取使用者前方的深度图像，借助步骤(1)中获取的掩膜得到使用者部分身体的点云数据；[0019] (3)利用步骤(2)中获取的点云数据对使用者的部分身体进行三角面片重建，对于不在视野内的身体部分，不做处理；[0020] (4)通过增强现实眼镜直接获取使用者手的三角面片重建模型；[0021] 用户与几何体P的交互操作包括：[0022] (1)使用者可以随意移动，直接对几何体P进行观察，走近或远离几何体P，当使用者的身体与几何体P发生重叠，使用发光的轮廓线将重叠的交界处显示出来，方便使用者观察交界区域，当使用者完全进入几何体P，使用者的视野会被叠加上与几何体P颜色相同的颜色，以此来表示使用者已经完全进入几何体P；[0023] (2)使用者可以使用双手来与几何体进行交互，使用者的手会使用三角面片进行覆盖，当使用者的手与几何体P的最小距离小于阈值d时，将沿着手的朝向射出一道射线，并在该射线与几何体P地相交点显示一个标记，表示手与几何体的可能相交点，当使用者的手部分进入几何体P，在几何体P内部的三角面片将会停止显示，只留下外部的三角面片，使用者将只能观察到留在几何体P外部的面片，提供更加清晰的边界，当使用者的手完全进入几何体P，手部的所有三角面片将不会显示；[0024] (3)使用者可以通过交互界面选择特定的几何体P，并更改几何体P的显示模式，包括几何体的颜色、几何体的透明度、几何体的轮廓、几何体的边缘衰减效果；[0025] (4)使用者可以通过交互界面选择几何体P的观测模式。[0026] 作为本发明进一步改进，步骤一中，所述设备包括相机、音响设备和机械臂。[0027] 作为本发明进一步改进，步骤一中，所述动作捕捉系统包括OptiTrack和NOKOV。[0028] 作为本发明进一步改进，步骤四中几何体P的观测模式为：[0029] (1)不同设备的作用范围相互独立，对这些作用范围分别进行可视化，即使作用范围发生了相交的情况，也不做特殊处理；[0030] (2)在观察不同设备的作用范围的同时，对不同设备作用范围的相交区域也进行观察，一旦作用范围相交，产生相交区域R相交，使用一个几何体P相交对R相交进行可视化，R相交的颜色与透明度同样可以由使用者指定，R相交发生改变之后，P相交也进行相应的变化；[0031] (3)只观察不同设备作用范围的相交区域R相交，而不显示设备的作用范围。[0032] 作为本发明进一步改进，步骤四中获取几何体P1与几何体P2的相交区域几何体P相交包括如下步骤：[0033] (1)获取几何体P1的补集～P1；[0034] (2)去掉几何体P2中所有在几何体～P1内部的三角面片，得到P3；[0035] (3)获取几何体P3的补集～P3；[0036] (4)去掉几何体～P1中所有在几何体～P3内部的三角面片，得到P4；[0037] (5)去掉几何体～P3中所有在几何体P4内部的三角面片，得到P5；[0038] (6)将几何体P5与几何体～P3的三角面片进行合并，得到P相交。[0039] 本发明提供一种基于增强现实的空间范围感知方法，与现有技术相比，具有以下技术效果：[0040] 本发明根据不同设备的作用范围，将不可见的作用范围进行可视化；[0041] 本发明帮助使用者对不可见的作用范围进行感知；[0042] 本发明提供多种观察不可见作用范围的模式，尤其是对作用范围相交区域的可视化观察。附图说明[0043] 图1为基于增强现实的空间范围感知方法的场景图。具体实施方式[0044] 下面结合附图与具体实施方式对本发明作进一步详细描述：[0045] 如图1所示，一种基于增强现实的空间范围感知方法，利用增强现实眼镜，对不可见的设备作用范围进行可视化，帮助使用者进行空间感知，包括以下步骤：[0046] 步骤a、在设备D1、D2以及增强现实眼镜上布置好标志物，使用动作捕捉系统对设备D1、D2以及增强现实眼镜进行注册，得到设备D1、D2与增强现实眼镜的位置和姿态。动作捕捉系统将所有设备的位置与姿态通过UDP协议实时发送给增强现实眼镜，增强现实眼镜需要对动作捕捉系统传输的数据进行解析，并反向解算出D1、D2的相对位置与姿态。[0047] 步骤b、根据设备D1、D2的物体特性计算其作用范围R1、R2；[0048] 步骤c、使用增强现实眼镜对R1、R2进行可视化：[0049] 具体可视化算法如下：[0050] 使用一个或多个半透明的几何体P1、P2来对R1、R2进行可视化，几何体P1、P2由三角形面片构成。几何体P1、P2应在空间中保持稳定，不随使用者的移动而移动，但需随着R1、R2的变化而变化。几何体P1、P2的颜色可以由使用者通过交互界面指定。[0051] 当作用范围R1、R2部分脱离使用者的视野时，几何体P1、P2将被裁减，只显示仍然保留在使用者视野中的作用范围，但动作捕捉系统仍然需要对设备进行追踪，并实时更新其位置与姿态，传输给增强现实眼镜。当R1、R2重新进入使用者的视野时，对几何体P1、P2进行重新显示，同时保证全局位置的正确性。[0052] 步骤d、使用增强现实眼镜对使用者的身体表面，以及使用者的双手进行三角面片重建：[0053] d1、通过增强现实眼镜获取使用者前方的彩色图像，使用深度神经网络对图像进行分割出来，得到使用者的身体在图像中的掩膜；[0054] d2、通过增强现实眼镜获取使用者前方的深度图像，借助步骤(1)中获取的掩膜得到使用者部分身体的点云数据；[0055] d3、利用步骤(2)中获取的点云数据对使用者的部分身体进行三角面片重建。对于不在视野内的身体部分，不做处理；[0056] d4、通过增强现实眼镜直接获取使用者手的三角面片重建模型。[0057] 步骤e、计算几何体P1与几何体P2的相交区域几何体P相交：[0058] e1、获取几何体P1的补集～P1。[0059] e2、去掉几何体P2中所有在几何体～P1内部的三角面片，得到P3。[0060] e3、获取几何体P3的补集～P3。[0061] e4、去掉几何体～P1中所有在几何体～P3内部的三角面片，得到P4。[0062] e5、去掉几何体～P3中所有在几何体P4内部的三角面片，得到P5。[0063] e6、将几何体P5与几何体～P3的三角面片进行合并，得到P相交。[0064] 步骤f、使用者可以使用增强现实眼镜直接观测P1、P2，与之交互，并切换观测模式:[0065] f1、使用者可以随意移动，直接对几何体P1、P2进行观察，走近或远离几何体P1、P2。当使用者的身体与几何体P1、P2发生重叠，使用发光的轮廓线将重叠的交界处显示出来，方便使用者观察交界区域。当使用者完全进入几何体P1、P2，使用者的视野会被叠加上与几何体P1、P2颜色相同的颜色，以此来表示使用者已经完全进入几何体P1、P2；[0066] f2、使用者可以使用双手来与几何体进行交互。使用者的手会使用三角面片进行覆盖。当使用者的手与几何体P1、P2的最小距离小于阈值d时，将沿着手的朝向射出一道射线，并在该射线与几何体P1、P2地相交点显示一个标记，表示手与几何体的可能相交点。当使用者的手部分进入几何体P1、P2，在几何体P1、P2内部的三角面片将会停止显示，只留下外部的三角面片，使用者将只能观察到留在几何体P1、P2外部的面片，提供更加清晰的边界。当使用者的手完全进入几何体P1、P2，手部的所有三角面片将不会显示；[0067] f3、使用者可以通过交互界面选择特定的几何体P1、P2，并更改几何体P1、P2的显示模式，包括几何体的颜色、几何体的透明度、几何体的轮廓、几何体的边缘衰减效果；[0068] f4、使用者可以通过交互界面选择几何体P1、P2的观测模式[0069] 其中，观测模式包括：[0070] (1)不同设备的作用范围相互独立，对这些作用范围分别进行可视化，即使作用范围发生了相交的情况，也不做特殊处理；[0071] (2)在观察不同设备的作用范围的同时，对不同设备作用范围的相交区域也进行观察，一旦作用范围相交，产生相交区域R相交，使用一个几何体P相交对R相交进行可视化，R相交的颜色与透明度同样可以由使用者指定。R相交发生改变之后，P相交也进行相应的变化。[0072] (3)只观察不同设备作用范围的相交区域R相交，而不显示设备的作用范围。[0073] 一种基于增强现实的空间范围感知装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行该程序时实现上述基于增强现实的空间范围感知方法。[0074] 本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD‑ROM、光学存储器等)上实施的计算机程序产品的形式。[0075] 本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。[0076] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。[0077] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。[0078] 以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

专利地区：江苏

专利申请日期：2022-03-14

专利公开日期：2024-07-26

专利公告号：CN114663624B