一种基于MR技术的交互方法、系统、装置及存储介质

专利名称：一种基于MR技术的交互方法、系统、装置及存储介质

专利类型：实用新型专利

专利申请号：CN202410606588.9

专利申请（专利权）人：苏州易普趣软件有限公司
权利人地址：江苏省苏州市姑苏区胥江路52号

专利发明（设计）人：林涛

专利摘要：本申请涉及一种基于MR技术的交互方法、系统、装置及存储介质，其属于MR技术领域，其中方法包括：获取互动指令，获取玩家所处现实环境，将所述现实环境与预构建的虚拟场景作融合处理后得到MR交互场景，将所述MR交互场景呈现于玩家所持MR交互设备上；实时接收并执行玩家操作指令，基于所述玩家操作指令，更新玩家在MR交互场景中的状态，以及所述MR交互设备所显示的当前视角画面；实时根据玩家状态，调控所述MR交互场景所对应的交互进程，其中，所述交互进程至少可以为游戏进程。本申请具有将虚拟场景与现实环境相融合，增强人机交互体验感的效果。

主权利要求：
1.一种基于MR技术的交互方法，其特征在于，包括：
获取互动指令，获取玩家所处现实环境，将所述现实环境与预构建的虚拟场景作融合处理后得到MR交互场景，将所述MR交互场景呈现于玩家所持MR交互设备上；
实时接收并执行玩家操作指令，基于所述玩家操作指令，更新玩家在MR交互场景中的状态，以及所述MR交互设备所显示的当前视角画面；
实时根据玩家状态，调控所述MR交互场景所对应的交互进程，其中，所述交互进程至少包括游戏进程；
在接收到互动指令之后，确定关联对象集合，其中，所述关联对象集合中包含关联交互对象，所述关联交互对象是指处于同一交互进程中的所有交互对象，所述交互对象至少包括玩家和NPC；且同一交互进程中的所有交互对象所处的MR交互场景不同；
向目标交互对象所对应的关联交互对象实时共享所述目标交互对象的状态信息，以使得关联交互对象获知所述目标交互对象的状态信息；其中，所述目标交互对象是指任一交互对象；
所述状态信息至少包括目标交互对象与对应的关联交互对象之间的通信内容，和/或目标交互对象的MR交互设备所显示的当前视角画面；
所述获取互动指令，获取玩家所处现实环境，包括：
接收第一互动指令，扫描玩家所处物理空间；
将玩家所处物理空间作为玩家所处现实环境；
玩家的状态信息还包括玩家所持MR交互设备的位置信息；
所述获取互动指令，获取玩家所处现实环境，还包括：
接收第三互动指令，所述第三互动指令中至少包含屏蔽共享区域，所述屏蔽共享区域为发起所述第三互动指令的玩家从所处物理空间中圈定出的区域；
所述向目标交互对象所对应的关联交互对象实时共享所述目标交互对象的状态信息，包括：实时获取玩家状态信息，当目标交互对象为玩家时，且所述目标交互对象所持MR交互设备移动至对应的屏蔽共享区域时，停止向所述目标交互对象所对应的关联交互对象共享所述目标交互对象的状态信息；
当所述目标交互对象不处于屏蔽共享区域时，向所述目标交互对象所对应的关联交互对象实时共享所述目标交互对象的状态信息。
2.根据权利要求1所述的基于MR技术的交互方法，其特征在于，所述获取互动指令，获取玩家所处现实环境，包括：若接收到自定义范围指令，则将玩家在扫描得到的物理空间中所圈定的物理范围作为玩家所处物理空间；
所述方法还包括：
获取同一关联对象集合中的所有交互对象所对应的MR交互场景；
若目标玩家进入第一MR交互场景，则触发场景切换指令，将所述目标玩家所对应的MR交互场景切换为所述第一MR交互场景；其中，所述目标玩家是指任意交互对象为玩家的交互对象；所述第一MR交互场景是指所述目标玩家所处的关联对象集合所对应的MR交互场景中，除所述目标玩家在切换之前所对应的MR交互场景之外的其他任一MR交互场景。
3.根据权利要求2所述的基于MR技术的交互方法，其特征在于，所述若目标玩家进入第一MR交互场景，则触发场景切换指令，包括：若目标玩家移动至第二MR交互场景之外，则确定所述目标玩家所处的关联对象集合中是否存在第三MR交互场景；其中，所述第二MR交互场景是指目标玩家当前所处的MR交互场景；
若存在，则基于所述第二MR交互场景所对应的现实环境的物理空间范围，计算所述目标玩家移动至距离所述第二MR交互场景最远的第三MR交互场景所需的移动时长；
若在移动时长内，所述目标玩家进入任一第三MR交互场景，则将所述目标玩家所进入的第三MR交互场景作为第一MR交互场景，并触发场景切换指令；
若在达到移动时长时，所述目标玩家未进入第三MR交互场景，或所述目标玩家所处的关联对象集合中不存在第三MR交互场景，则结束所述目标玩家的交互进程。
4.根据权利要求2所述的基于MR技术的交互方法，其特征在于，所述第三互动指令中还包括屏蔽共享时限；
所述向目标交互对象所对应的关联交互对象实时共享所述目标交互对象的状态信息，还包括：在所述目标交互对象所持MR交互设备移动至对应的屏蔽共享区域时，停止向所述目标交互对象所对应的关联交互对象共享所述目标交互对象的状态信息，并开始计时；
若在计时时长达到所述屏蔽共享时限之前，所述目标交互对象所持MR交互设备离开屏蔽共享区域，则停止计时，并重新开始实时向所述目标交互对象所对应的关联交互对象共享所述目标交互对象的状态信息；
若在计时时长达到所述屏蔽共享时限时，所述目标交互对象所持MR交互设备处于屏蔽共享区域内，则结束所述目标交互对象的交互进程。
5.根据权利要求1所述的基于MR技术的交互方法，其特征在于：所述将所述MR交互场景呈现于玩家所持MR交互设备上，之后还包括：接收目标玩家发出的场景共享指令，所述场景共享指令中至少包括被共享玩家所持MR交互设备；
当所述被共享玩家所持MR交互设备进入所述目标玩家当前所对应的MR交互场景内时，向所述被共享玩家所持MR交互设备发送带有所述目标玩家所对应的MR交互场景的第二互动指令；
接收第二互动指令，将所述第二互动指令中的MR交互场景呈现于玩家所持MR交互设备上。
6.一种基于MR技术的交互系统，其特征在于，包括，
MR场景生成模块（1），用于获取互动指令，获取玩家所处现实环境，将所述现实环境与预构建的虚拟场景作融合处理后得到MR交互场景，将所述MR交互场景呈现于玩家所持MR交互设备上；
玩家状态更新模块（2），用于实时接收并执行玩家操作指令，基于所述玩家操作指令，更新玩家在MR交互场景中的状态，以及所述MR交互设备所显示的当前视角画面；
交互进程调控模块（3），用于实时根据玩家状态，调控所述MR交互场景所对应的交互进程，其中，所述交互进程至少包括游戏进程；
状态共享通信模块（4），用于在接收到互动指令之后，确定关联对象集合，其中，关联对象集合中包关联交互对象，所述关联交互对象是指处于同一交互进程中的所有交互对象，交互对象至少包括玩家和NPC；且同一交互进程中的所有交互对象所处的MR交互场景不同；
还用于向目标交互对象所对应的关联交互对象实时共享目标交互对象的状态信息，以使得关联交互对象获知目标交互对象的状态信息；其中，目标交互对象是指任一交互对象；状态信息至少包括目标交互对象与对应的关联交互对象之间的通信内容，和/或目标交互对象的MR交互设备所显示的当前视角画面；
所述MR场景生成模块（1）还用于接收第一互动指令，扫描玩家所处物理空间；还用于将玩家所处物理空间作为玩家所处现实环境；
所述MR场景生成模块（1）还用于接收第三互动指令，第三互动指令中至少包含屏蔽共享区域，屏蔽共享区域为发起第三互动指令的玩家从所处物理空间中圈定出的区域；
所述状态共享通信模块（4）还用于实时获取玩家状态信息，当目标交互对象为玩家时，且目标交互对象所持MR交互设备移动至对应的屏蔽共享区域时，停止向目标交互对象所对应的关联交互对象共享目标交互对象的状态信息；还用于当目标交互对象不处于屏蔽共享区域时，向目标交互对象所对应的关联交互对象实时共享目标交互对象的状态信息。
7.一种基于MR技术的交互装置，其特征在于，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如权利要求1至5任一种所述的基于MR技术的交互方法的步骤。
8.一种计算机可读存储介质，其特征在于，存储有能够被处理器加载并执行如权利要求1至5任一种所述的基于MR技术的交互方法的步骤。 说明书 : 一种基于MR技术的交互方法、系统、装置及存储介质技术领域[0001] 本申请涉及MR技术领域，尤其是涉及一种基于MR技术的交互方法、系统、装置及存储介质。背景技术[0002] 目前射击类游戏的展示方式一般包括如下3种：1、在山区或密林等与射击相匹配的自然环境中实地搭建游戏场地，玩家利用场地预先购置的游戏用器械弹药进行游戏；2、基于PC端的射击游戏，玩家通过电脑使用键盘鼠标进行游戏操作；3、玩家佩戴VR头盔在特定空旷场地进行射击游戏。[0003] 然而，上述第1种展示方式涉及实地场地搭建和物资购置，需耗费较大的精力进行前期准备工作；第2种展示方式使得游戏的操作与交互反馈对于玩家生理上无直观感受，体验感较差；第3种展示方式虽然增强了玩家体感操作，但玩家头戴VR头盔之后，玩家视角画面与现实环境相对割裂，从而使得玩家无法感知外界真实环境，导致玩家的游戏体验感不佳；综上，目前已有的关于射击类游戏的互动展示方式存在游戏体验感不佳或耗费精力的问题，故有待改善。发明内容[0004] 为了在改善精力耗费的基础上，优化游戏体验感，本申请提供一种基于MR技术的交互方法、系统、装置及存储介质。[0005] 第一方面，本申请提供了一种基于MR技术的交互方法，包括：[0006] 获取互动指令，获取玩家所处现实环境，将所述现实环境与预构建的虚拟场景作融合处理后得到MR交互场景，将所述MR交互场景呈现于玩家所持MR交互设备上；[0007] 实时接收并执行玩家操作指令，基于所述玩家操作指令，更新玩家在MR交互场景中的状态，以及所述MR交互设备所显示的当前视角画面；[0008] 实时根据玩家状态，调控所述MR交互场景所对应的交互进程，其中，所述交互进程至少可以为游戏进程。[0009] 通过采用上述技术方案，MR（Mixreality，混合现实）是指合并现实和虚拟世界而产生的新的可视化环境；在新的可视化环境里，物理和数字对象共存，并实时互动，即相对于VR所展示的纯虚拟数字画面来说，MR能够展示现实+虚拟数字画面，以实现玩家所处现实环境与交互所需的虚拟场景相融合，增加交互体验感；其中的MR交互设备可以是指MR眼镜和/或与其搭配使用的交互手柄；此外，本申请的交互方法也保留了传统交互方法中关于交互进程的调控和更新显示功能，如当本申请的交互方法应用于游戏领域时，在游戏进程中，可实时根据玩家操作指令（如射击指令、移动指令），更新玩家状态（活动状态、手上状态、位置信息、生命值等），还可通过预先配置游戏软件来实时把控游戏进程（如控制NPC数量和状态），最终达到在减少实地搭建游戏场景所耗费的精力成本的基础上，优化游戏体验感的效果。[0010] 可选的，所述方法还包括：[0011] 在接收到互动指令之后，确定关联对象集合，其中，所述关联对象集合中包含处于同一交互进程中的所有交互对象，所述交互对象至少包括玩家和NPC；且同一交互进程中的所有交互对象所处的MR交互场景可以不同；[0012] 向目标交互对象所对应的关联交互对象实时共享所述目标交互对象的状态信息，以使得关联交互对象获知所述目标交互对象的状态信息；其中，所述目标交互对象是指任一交互对象；[0013] 所述状态信息至少包括目标交互对象与对应的关联交互对象之间的通信内容，和/或目标交互对象的MR交互设备所显示的当前视角画面。[0014] 通过采用上述技术方案，结合上述方案中提及的交互对象的具体身份属性可知，交互对象可以为玩家属性，也可以为NPC属性，NPC具体可以为枪战游戏中的怪物或敌人，也可以为MR交互场景中所展示的具体物理对象或数字对象，如MR交互场景中所展示的与现实环境相一致的构造（如桌椅、墙体等）；此外，当交互进程为游戏进程时，由于游戏模式包括单人模式和团队模式，因此，本申请的关联对象集合中可以具体包含多个玩家属性的交互对象，如多个玩家组队参与同一游戏进程。且此处需要说明的是，处于同一交互进程中的所有交互对象所处的MR交互场景并不一定相同，即，处于不同MR交互场景下的交互对象也可以参与同一交互进程，示例性的，玩家A和玩家B可以在各自房间所构建的MR交互场景下，参与同一游戏，如各自打怪冲关，最终根据所有玩家的打怪冲怪结果，以合计积分的形式来作为团队游戏的游戏结果；且本申请还进一步公开了关联交互对象之间可以共享彼此状态，如共享通信内容（即实现彼此通信）、共享彼此的当前视角画面，以便进一步达到优化团队游戏的体验感的效果。[0015] 可选的，所述获取互动指令，获取玩家所处现实环境，包括：[0016] 接收第一互动指令，扫描玩家所处物理空间；[0017] 若接收到自定义范围指令，则将玩家在扫描得到的物理空间中所圈定的物理范围作为玩家所处物理空间；[0018] 将玩家所处物理空间作为玩家所处现实环境；[0019] 所述方法还包括：[0020] 获取同一关联对象集合中的所有交互对象所对应的MR交互场景；[0021] 若目标玩家进入第一MR交互场景，则触发场景切换指令，将所述目标玩家所对应的MR交互场景切换为所述第一MR交互场景；其中，所述目标玩家是指任意交互对象为玩家的交互对象；所述第一MR交互场景是指所述目标玩家所处的关联对象集合所对应的MR交互场景中，除所述目标玩家在切换之前所对应的MR交互场景之外的其他任一MR交互场景。[0022] 通过采用上述技术方案，在每次接收到互动指令时，需要获知玩家所处现实环境，而一般的获取方式为玩家利用MR交互设备扫描玩家所处现实环境，且可进一步在扫描到的现实环境中划定用于与虚拟场景相融合的现实环境范围，再将所划定的现实环境来与虚拟场景实现融合；对于处于同一交互进程的交互对象来说，交互对象之间所处的MR交互场景可以不同，为此，如若目标玩家想要进入所属同一关联对象集合中的任一交互对象所处的MR交互场景（即上文提及的第一MR交互场景）时，只需要在现实环境中移动至第一MR交互场景处，便可实现目标玩家所对应的目标交互场景的自动切换，无需重新利用MR交互设备来扫描现实环境，减少玩家因切换MR交互场景而耗费的加载时长，优化交互体验感。[0023] 可选的，所述若目标玩家进入第一MR交互场景，则触发场景切换指令，包括：[0024] 若目标玩家移动至第二MR交互场景之外，则确定所述目标玩家所处的关联对象集合中是否存在第三MR交互场景；其中，所述第二MR交互场景是指目标玩家当前所处的MR交互场景；[0025] 若存在，则基于所述第二MR交互场景所对应的现实环境的物理空间范围，计算所述目标玩家移动至距离所述第二MR交互场景最远的第三MR交互场景所需的移动时长；[0026] 若在移动时长内，所述目标玩家进入任一第三MR交互场景，则将所述目标玩家所进入的第三MR交互场景作为第一MR交互场景，并触发场景切换指令；[0027] 若在达到移动时长时，所述目标玩家未进入第三MR交互场景，或所述目标玩家所处的关联对象集合中不存在第三MR交互场景，则结束所述目标玩家的交互进程。[0028] 通过采用上述技术方案，上述方案给出了触发场景切换指令的具体触发条件，即，当目标玩家离开其当前所处的MR交互场景（即第二MR交互场景）时，根据与目标玩家处于同一交互进程的其他交互对象的MR交互场景中是否存在与第二MR交互场景不同的MR交互场景（即第三MR交互场景），若存在，则给出一个时间范围（即移动时长），且认为在该时间范围内，目标玩家可以移动至任意第三MR交互场景内，在移动时长内，可以停止将目标玩家的状态共享给与目标玩家所属同一关联对象集合中的所有交互对象，若在移动市场内，目标玩家移动至任一第三MR交互场景（即第一MR交互场景），则认为达到触发场景切换指令的触发条件；如若在移动时长内并未发现目标玩家进入任一第三MR交互场景，或目标玩家所处的关联对象集合中并不存在第三MR交互场景，则认为该目标玩家无法触发场景切换指令，并立即结束该目标玩家的交互进程。[0029] 可选的，玩家的状态信息还包括玩家所持MR交互设备的位置信息；[0030] 所述获取互动指令，获取玩家所处现实环境，还包括：[0031] 接收第三互动指令，所述第三互动指令中至少包含屏蔽共享区域，所述屏蔽共享区域为玩家从发起所述第三互动指令的玩家从所处物理空间中圈定出的区域；[0032] 所述向目标交互对象所对应的关联交互对象实时共享所述目标交互对象的状态信息，包括：[0033] 实时获取玩家状态信息，当目标对象为玩家时，且所述目标对象所持MR交互设备移动至对应的屏蔽共享区域时，停止向所述目标交互对象所对应的关联交互对象共享所述目标交互对象的状态信息；[0034] 当所述目标交互对象不处于屏蔽共享区域时，向所述目标交互对象所对应的关联交互对象实时共享所述目标交互对象的状态信息。[0035] 通过采用上述技术方案，当玩家在交互进程中途因事需要暂停离开时，若直接退出交互进程，那么在其后续想要重新进入该交互进程时，将需要重新扫描现实环境并重新构建MR交互场景，且无法保留其离开之前的状态信息（如离开之前的游戏结果）；因此，为了解决重新加载的问题，本申请特设置了屏蔽共享区域的概念，若玩家需中途暂停其交互进程，只需进入其预先划定的屏蔽共享区域，以此来切断该玩家与同一交互进程中的其他交互对象之间的共享通信，但该玩家所持MR与本申请MR技术交互系统之间的通信尚未切断，待该玩家所持MR交互设备离开对应的屏蔽共享区域时，则重新恢复该玩家状态信息的共享，以此方式来在不影响其他玩家的交互进程、不干涉游戏平衡的情况下，为中途暂停的玩家保留其暂停前的状态信息，优化交互体验感。[0036] 可选的，所述第三互动指令中还包括屏蔽共享时限；[0037] 所述向目标交互对象所对应的关联交互对象实时共享所述目标交互对象的状态信息，还包括：[0038] 在所述目标交互对象所持MR交互设备移动至对应的屏蔽共享区域时，停止向所述目标交互对象所对应的关联交互对象共享所述目标交互对象的状态信息，并开始计时；[0039] 若在计时时长达到所述屏蔽共享时限之前，所述目标交互对象所持MR交互设备离开屏蔽共享区域，则停止计时，并重新开始实时向所述目标交互对象所对应的关联交互对象共享所述目标交互对象的状态信息；[0040] 若在计时时长达到所述屏蔽共享时限时，所述目标交互对象所持MR交互设备处于屏蔽共享区域内，则结束所述目标交互对象的交互进程。[0041] 通过采用上述技术方案，为了避免MR交互设备无限期停留在屏蔽共享区域内，特设定屏蔽共享时限，以便在达到屏蔽共享时限且目标对象所持MR交互设备仍未离开屏蔽共享区域时，自动控制目标交互对象退出交互进程，释放算力。[0042] 可选的，所述将所述MR交互场景呈现于玩家所持MR交互设备上，之后还包括：[0043] 接收目标玩家发出的场景共享指令，所述场景共享指令中至少包括被共享玩家所持MR交互设备；[0044] 当所述被共享玩家所持MR交互设备进入所述目标玩家当前所对应的MR交互场景内时，向所述被共享玩家所持MR交互设备发送带有所述目标玩家所对应的MR交互场景的第二互动指令；[0045] 接收第二互动指令，将所述第二互动指令中的MR交互场景呈现于玩家所持MR交互设备上。[0046] 通过采用上述技术方案，通过设定场景共享指令，来实现MR交互场景的共享，以用于在其他玩家进入目标玩家所处的MR交互场景所对应的物理空间内时，向其他玩家投放该目标玩家的MR交互场景，以此使得其他玩家能够快速加入交互进程，而无需重新利用MR交互设备扫描现实环境、生成MR交互场景；最终达到优化交互体验感的效果。[0047] 第二方面，本申请提供了一种基于MR技术的交互系统，包括，[0048] MR场景生成模块，用于获取互动指令，获取玩家所处现实环境，将所述现实环境与预构建的虚拟场景作融合处理后得到MR交互场景，将所述MR交互场景呈现于玩家所持MR交互设备上；[0049] 玩家状态更新模块，用于实时接收并执行玩家操作指令，基于所述玩家操作指令，更新玩家在MR交互场景中的状态，以及所述MR交互设备所显示的当前视角画面；[0050] 交互进程调控模块，用于实时根据玩家状态，调控所述MR交互场景所对应的交互进程，其中，所述交互进程至少可以为游戏进程。[0051] 第三方面，本申请提供了一种基于MR技术的交互装置，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如第一方面中任一种方法的计算机程序。[0052] 第四方面，本申请提供了一种计算机可读存储介质，其特征在于，存储有能够被处理器加载并执行如第一方面中任一种方法的计算机程序。[0053] 综上所述，本申请包括以下有益技术效果：[0054] 基于MR技术的交互方法用于将现实环境与预构建的虚拟场景相融合生成MR交互场景，并利用预先配置的MR交互设备来使得玩家进入MR交互场景内，并在MR交互场景内启用并执行与MR交互场景相匹配的交互进程，如MR交互场景为枪战交互场景，MR交互方法将利用预配置的游戏引擎来启用并执行枪战游戏进程，同时在交互进程中实时获取并执行玩家操作指令，调控交互进程；最终为玩家提供具有更高质量和更人性化的交互体验。附图说明[0055] 为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。[0056] 图1是本申请实施例的一种基于MR技术的交互方法的流程示意图。[0057] 图2是本申请实施例的一种基于MR技术的交互系统的结构框图。[0058] 附图标记说明：1、MR场景生成模块；2、玩家状态更新模块；3、交互进程调控模块；4、状态共享通信模块。具体实施方式[0059] 以下结合附图1‑2对本申请作进一步详细说明。[0060] 本申请实施例公开一种基于MR技术的交互方法。基于MR技术的交互方法的执行主体为基于MR技术的交互系统（下文简称为交互系统），交互系统通信连接于MR交互设备，示例性的，本申请实施例所公开的MR交互设备包括MR眼镜及其配置的操作手柄。下面将结合附图1‑2详细说明基于MR技术的交互方法的具体步骤。[0061] S101，获取互动指令，获取玩家所处现实环境，将现实环境与预构建的虚拟场景作融合处理后得到MR交互场景，将MR交互场景呈现于玩家所持MR交互设备上。[0062] 其中，S101中关于“获取互动指令，获取玩家所处现实环境”具体包括如下子步骤：[0063] 接收第一互动指令，扫描玩家所处物理空间；[0064] 若接收到自定义范围指令，则将玩家在扫描得到的物理空间中所圈定的物理范围作为玩家所处物理空间；[0065] 将玩家所处物理空间作为玩家所处现实环境。[0066] 在实施中，用户可以以玩家身份佩戴预先配置的MR眼镜，并通过操作手柄来触发第一互动指令，交互系统在获取到互动指令时，将获取玩家所处显示环境，而获取玩家所处显示环境的具体方式为：交互系统控制预先设置于MR眼镜上的摄像头扫描MR交互设备所处物理空间，此时MR交互设备可显示摄像头所扫描的画面，即此时玩家所能看到的画面为现实环境画面。在此过程中，玩家可基于摄像头所摄取的物理空间，进一步利用操作手柄和/或配合指定手势、肢体动作，在前述物理空间内圈画出指定物理范围，交互系统将识别该物理范围，并将该物理范围作为玩家所处物理空间，即玩家所处现实环境。[0067] 在确定得出玩家所处显示环境之后，交互系统再将现实环境与预构建的虚拟场景作融合处理后得到MR交互场景，而MR交互场景的生成技术为现有技术，在此不再赘述。最终，交互系统再将MR交互场景呈现于玩家所持MR交互设备上，以使得玩家能够在所佩戴的MR交互设备上既看到现实环境，又能够在现实环境中看到虚拟对象，优化交互体验感。[0068] S102，实时接收并执行玩家操作指令，基于玩家操作指令，更新玩家在MR交互场景中的状态，以及MR交互设备所显示的当前视角画面。[0069] S103，实时根据玩家状态，调控MR交互场景所对应的交互进程，其中，交互进程至少可以为游戏进程。[0070] 在实施中，玩家可在不同的应用场景下使用MR交互设备，应用场景具体可以包括器械维修场景、游戏场景、医疗场景、展览场景等，每一应用场景均对应一个交互进程，每一个应用场景可对应预构建有多个虚拟场景，玩家在触发第一互动指令时，交互系统可以显示前述应用场景及其应用场景所对应的所有虚拟场景，以供用户选择，接着交互系统再根据用户所选择的虚拟场景来生成MR交互场景，可以认为MR交互场景的生成时刻即为交互进程的启动时刻，期间玩家可以人为结束交互进程，也可由交互系统自动介乎交互进程。[0071] 示例性的，本申请的交互场景具体为游戏场景，对应选择的虚拟场景可以为枪战游戏场景；而枪战游戏一般可以包括单人游戏模式和团队游戏模式，因此交互系统可显示组队功能，以用于供玩家选择是否组队以及组队成员。玩家可以握持操作手柄，通过操作手柄上的按键或在MR眼镜所配置的摄像头的摄取范围内做出指定肢体动作、手势或发出MR眼镜所预先配置的语音设备所能识别的语音等，来触发玩家操作指令。示例性的，玩家利用操作手柄按键执行攻击、抓取、切换枪支、扣动扳机等指令。此外，玩家在MR交互场景中的状态至少包括位置信息，且具体的，交互系统可根据MR交互设备所配置的摄像头实时获取玩家佩戴MR眼镜后的视角下的现实环境画面，将现实环境画面与玩家所对应的MR交互场景作比对，以用于判定玩家在MR交互场景中的位置信息；还可根据RhinoXMR提供的SDK获取到MR眼镜与操作手柄的相对位置，再通过RhinoXMr眼镜的SDK提供的GroundPlane组件进行坐标系转换，对应到现实环境物理空间中的位置，以使得交互系统能够获知玩家位置信息。[0072] 结合本实施例所选定的游戏场景可知，枪战游戏中势必会存在敌人，而敌人具体可以为NPC，为此，交互系统可以实时根据游戏时长（即游戏进程从启动至当前时刻所历经的时长）来控制敌人的生成数量和类型，可以通过攻击难度来实现对敌人类型的分类，可预先设定多个游戏时长区间，以及每一游戏时长区间所对应的敌人生成数量和类型，以便交互系统根据前述对应关系来确定敌人的生成数量和类型；接着通过预先配置的游戏引擎（如unity），从预存储于交互系统中的管理库中调用对应数量和类型的敌人；其中，管理库中预存储有敌人模型、骨骼动画、对应特效和既能等数据；此外，交互系统还可管理并实时更新显示每一敌人/玩家的属性（如血条、攻击技能、伤害值）、敌人/玩家状态（如活动状态、受伤状态和死亡状态），还可根据玩家的实时位置信息，使用行为树技术实现敌人的寻路、攻击和逃跑等，此处关于玩家和NPC的管理技术为现有游戏系统已有的技术，在此不再赘述。[0073] 通过上述操作来对游戏进程的调控，且除此之外，交互系统还提供了状态信息共享的功能，具体的，基于MR技术的交互方法还包括如下步骤：[0074] S104，在接收到互动指令之后，确定关联对象集合，其中，关联对象集合中包含处于同一交互进程中的所有交互对象，交互对象至少包括玩家和NPC；且同一交互进程中的所有交互对象所处的MR交互场景可以不同；[0075] S105，向目标交互对象所对应的关联交互对象实时共享目标交互对象的状态信息，以使得关联交互对象获知目标交互对象的状态信息；其中，目标交互对象是指任一交互对象；状态信息至少包括目标交互对象与对应的关联交互对象之间的通信内容，和/或目标交互对象的MR交互设备所显示的当前视角画面。[0076] 在实施中，交互对象是指游戏进程中的对象，本实施例将交互对象分为玩家和NPC（如前文所述的敌人），而结合前文所指由于枪战游戏中包括团队游戏模式，因此，同一游戏进程中可能包含多个玩家属性的交互对象，且在枪战游戏中，交互对象之间一般需要获知彼此状态信息，如玩家需要获知敌人位置信息来实现追击，而玩家与玩家之间也需要获知彼此的状态信息来获知游戏进程，为此，本申请提出将处于同一交互进程的所有交互对象组成关联对象集合，并使得所属同一关联对象集合中的交互对象共享状态信息。状态信息可以包括前文所述的玩家/敌人的属性信息、位置信息、敌人/玩家状态，还可包括通信内容、玩家所佩戴的MR眼镜的当前视角画面等。[0077] 目标玩家可以触发预设的通信指令（如语音指令），其中通信指令中可以包括通信内容及其通信对象，相应的，交互系统可将通信内容发送给对应的通信对象，且该通信对象默认为与目标玩家所属同一关联对象集合中的交互对象。且当目标玩家结束交互进程时，交互系统将从关联交互对象集合中删除目标玩家，当关联交互对象集合中不存在玩家属性的交互对象时，则交互系统将自动结束交互进程，且在删除目标玩家或玩家自动退出交互进程时，释放资源。此外，本申请交互系统还用于在出现网络延迟或丢包导致的数据卡顿时，使用插值、差值的方法改善卡顿问题。[0078] 可选的，对于处于同一现实环境中的多个玩家来说，若此处的多个玩家想要共处同一MR交互场景内，那么其中任意玩家可将该玩家所对应生成的MR交互场景共享给其他玩家（下文称为被共享玩家），此时被共享玩家则无需执行扫描现实环境、构建MR交互场景的操作，减少系统算力的同时，也能够使得玩家得以快捷进入MR交互场景内。相应的，S101中的“将MR交互场景呈现于玩家所持MR交互设备上”之后，还包括如下步骤：[0079] 接收目标玩家发出的场景共享指令，场景共享指令中至少包括被共享玩家所持MR交互设备；[0080] 当被共享玩家所持MR交互设备进入目标玩家当前所对应的MR交互场景内时，向被共享玩家所持MR交互设备发送带有目标玩家所对应的MR交互场景的第二互动指令；[0081] 接收第二互动指令，将第二互动指令中的MR交互场景呈现于玩家所持MR交互设备上。[0082] 在实施中，目标玩家是指触发了第一互动指令，且已经被系统获取到玩家所处现实环境的任意玩家。目标玩家可以在触发第一互动指令的同时利用MR交互设备配置的操作手柄或配置的语音设备来触发场景共享指令，场景共享指令中至少包括用于交互系统识别被共享玩家所持MR交互设备身份的信息，如MR交互设备与交互系统通信所用的通信地址，或MR交互设备的ID号等。交互系统在接收到场景共享指令后，生成带有目标玩家所对应的MR交互场景的第二互动指令，并将第二互动指令发送至被共享玩家所持MR交互设备，并监控被共享玩家所持MR交互设备的位置信息，且当被共享玩家所持MR交互设备移动至目标玩家的MR交互场景所对应的物理空间内，且被共享玩家启动所持MR交互设备时，被共享玩家所持MR交互设备将第二互动指令中的MR交互场景呈现于被共享玩家所持MR交互设备上。[0083] 可选的，本申请还为目标玩家提供了中途切换MR交互场景的功能，但该功能仅限于目标玩家有当前MR交互场景切换至目标玩家所属关联对象集合中的其他玩家所对应的MR交互场景中，且前提是目标玩家在现实环境也移动至想要切换的MR交互场景所对应的物理空间内。该功能的设置能够实现目标玩家MR交互场景的自动切换，而无需目标玩家因离开当前MR交互场景而导致其退出交互进程的情况，也避免了目标玩家为了重新加载进入交互进程而产生的时延，此外，也除去了因目标玩家想要进入切换后的MR交互场景而导致系统重新获取现实环境、构建MR交互场景的操作。[0084] 相应的，实现上述功能的具体方法步骤如下：[0085] S106，获取同一关联对象集合中的所有交互对象所对应的MR交互场景；[0086] 若目标玩家进入第一MR交互场景，则触发场景切换指令，将目标玩家所对应的MR交互场景切换为第一MR交互场景；其中，目标玩家是指任意交互对象为玩家的交互对象；第一MR交互场景是指目标玩家所处的关联对象集合所对应的MR交互场景中，除目标玩家在切换之前所对应的MR交互场景之外的其他任一MR交互场景；[0087] S106中的“若目标玩家进入第一MR交互场景，则触发场景切换指令”包括：[0088] 若目标玩家移动至第二MR交互场景之外，则确定目标玩家所处的关联对象集合中是否存在第三MR交互场景；其中，第二MR交互场景是指目标玩家当前所处的MR交互场景；[0089] 若存在，则基于第二MR交互场景所对应的现实环境的物理空间范围，计算目标玩家移动至距离第二MR交互场景最远的第三MR交互场景所需的移动时长；[0090] 若在移动时长内，目标玩家进入任一第三MR交互场景，则将目标玩家所进入的第三MR交互场景作为第一MR交互场景，并触发场景切换指令；[0091] 若在达到移动时长时，目标玩家未进入第三MR交互场景，或目标玩家所处的关联对象集合中不存在第三MR交互场景，则结束目标玩家的交互进程。[0092] 在实施中，对于以团队作战形式处于同一游戏进程中的多个玩家，前述多个玩家处于同一关联对象集合中；示例性的，若前述玩家中的玩家A和玩家B所处的现实环境不同，那么由于MR交互场景是由现实环境+虚拟场景融合构建所得，因此玩家A和玩家B的MR交互场景不同，若此时玩家A想要进入玩家B所处的MR交互场景中，那么玩家A只需先离开其当前所处的MR交互场景（即第二MR交互场景）即可触发场景切换指令，此时交互系统将根据玩家A所处的关联对象集合，以及关联对象集合所对应的所有MR交互场景，确定是否存在第三MR交互场景，即确定是否存在不同于第二MR交互场景的MR交互场景，若不存在，则自动结束玩家A的交互进程。[0093] 若存在，则计算玩家A移动至与第二MR交互场景距离最远的第三MR交互场景所对应的物理空间边界线时所用时长（即移动时长），默认如若玩家A想要移动至任一第三MR交互场景内，那么玩家A势必会在移动时长内完成移动，因此在交互系统获知移动时长时开始计时，若计时时长达到移动时长之前，玩家A移动至任意第三MR交互场景，则停止计时并将玩家A进入的第三MR交互场景作为第一MR交互场景，将第一MR交互场景作为玩家A所对应的MR交互场景，并更新存储该对应关系；而若在计时时长达到移动时长时，玩家A未处于任何第三MR交互场景内，则结束玩家A的交互进程。[0094] 此处需要说明的是，在移动时长内，交互系统可控制玩家A所佩戴的MR眼镜显示其所配置的摄像头所摄录的现实环境画面，即在玩家A离开MR交互场景之后，佩戴了MR眼镜的玩家A的视角画面即为现实环境画面，以便玩家A移动。在移动时长内，交互系统可通过预配置的GPS定位模块实时获取玩家位置信息，且交互系统可以以位置坐标集合的形式存储每一MR交互场景所对应的物理空间范围；而当玩家A进入第一MR交互场景内时，即玩家位置信息与第一交互场景所对应的物理空间范围存在交点时，则交互系统将第一MR交互场景呈现于玩家A所佩戴的MR眼镜上，实现现实环境与MR交互环境的快捷切换。[0095] 可选的，S101中的“获取互动指令，获取玩家所处现实环境”还包括如下内容：[0096] 接收第三互动指令，所述第三互动指令中至少包含屏蔽共享区域，所述屏蔽共享区域为玩家从发起第三互动指令的玩家从所处物理空间中圈定出的区域；[0097] S105中的“向目标交互对象所对应的关联交互对象实时共享目标交互对象的状态信息”具体包括：[0098] 实时获取玩家状态信息，当目标对象为玩家时，且目标对象所持MR交互设备移动至对应的屏蔽共享区域时，停止向目标交互对象所对应的关联交互对象共享目标交互对象的状态信息；[0099] 当目标交互对象不处于屏蔽共享区域时，向目标交互对象所对应的关联交互对象实时共享目标交互对象的状态信息。[0100] 在实施中，此处的目标交互对象为任一作为玩家属性的交互对象，玩家在触发第一互动指令之后，并在交互系统生成并显示对应的MR交互场景之后，玩家可以触发第三互动指令，以用于在MR交互场景中选定某处区域作为屏蔽共享区域，当玩家所佩戴的MR眼镜进入该屏蔽共享区域时，交互系统将停止将该玩家的状态共享给该玩家所处的关联交互对象集合中的其他交互对象，但交互系统还将实时获取该玩家状态，且在该玩家的MR眼镜离开屏蔽共享区域时，交互系统将重新将该玩家的实时状态共享给该玩家所处的关联交互对象集合中的其他交互对象。[0101] 可选的，第三互动指令中还可包括屏蔽共享时限；[0102] S105中的“向目标交互对象所对应的关联交互对象实时共享目标交互对象的状态信息”具体包括：[0103] 在目标交互对象所持MR交互设备移动至对应的屏蔽共享区域时，停止向目标交互对象所对应的关联交互对象共享目标交互对象的状态信息，并开始计时；[0104] 若在计时时长达到屏蔽共享时限之前，目标交互对象所持MR交互设备离开屏蔽共享区域，则停止计时，并重新开始实时向目标交互对象所对应的关联交互对象共享目标交互对象的状态信息；[0105] 若在计时时长达到屏蔽共享时限时，目标交互对象所持MR交互设备处于屏蔽共享区域内，则结束目标交互对象的交互进程。[0106] 在实施中，此处的目标交互对象可以认为是任一作为玩家属性的交互对象；为了避免玩家长时间停留在屏蔽共享区域内，从而浪费交互系统对该玩家的监控算力，特设定屏蔽共享时限，当目标交互对象所持MR交互设备移动至对应的屏蔽共享区域时，将开始计时，若计时时长达到屏蔽共享时限之前，目标交互对象所持MR交互设备离开屏蔽共享区域，则停止计时并重新开始分享该目标交互对象的状态信息，若在计时时长达到屏蔽共享时限时，目标交互对象所持交互设备处于屏蔽共享区域内，则结束目标交互对象的交互进程，以使得交互系统释放资源和算力。[0107] 本申请实施例还公开一种基于MR技术的交互系统。包括：[0108] MR场景生成模块1，用于获取互动指令，获取玩家所处现实环境，将现实环境与预构建的虚拟场景作融合处理后得到MR交互场景，将MR交互场景呈现于玩家所持MR交互设备上；[0109] 玩家状态更新模块2，用于实时接收并执行玩家操作指令，基于玩家操作指令，更新玩家在MR交互场景中的状态，以及MR交互设备所显示的当前视角画面；[0110] 交互进程调控模块3，用于实时根据玩家状态，调控MR交互场景所对应的交互进程，其中，交互进程至少可以为游戏进程。[0111] 可选的，还包括状态共享通信模块4，用于在接收到互动指令之后，确定关联对象集合，其中，关联对象集合中包含处于同一交互进程中的所有交互对象，交互对象至少包括玩家和NPC；且同一交互进程中的所有交互对象所处的MR交互场景可以不同；还用于向目标交互对象所对应的关联交互对象实时共享目标交互对象的状态信息，以使得关联交互对象获知目标交互对象的状态信息；其中，目标交互对象是指任一交互对象；状态信息至少包括目标交互对象与对应的关联交互对象之间的通信内容，和/或目标交互对象的MR交互设备所显示的当前视角画面。[0112] 可选的，MR场景生成模块1还用于接收第一互动指令，扫描玩家所处物理空间；若接收到自定义范围指令，则将玩家在扫描得到的物理空间中所圈定的物理范围作为玩家所处物理空间；将玩家所处物理空间作为玩家所处现实环境；[0113] 还包括交互场景切换模块，用于获取同一关联对象集合中的所有交互对象所对应的MR交互场景；还用于若目标玩家进入第一MR交互场景，则触发场景切换指令，将目标玩家所对应的MR交互场景切换为第一MR交互场景；其中，目标玩家是指任意交互对象为玩家的交互对象；第一MR交互场景是指目标玩家所处的关联对象集合所对应的MR交互场景中，除目标玩家在切换之前所对应的MR交互场景之外的其他任一MR交互场景。[0114] 可选的，交互场景切换模块还用于若目标玩家移动至第二MR交互场景之外，则确定目标玩家所处的关联对象集合中是否存在第三MR交互场景；其中，第二MR交互场景是指目标玩家当前所处的MR交互场景；还用于若存在，则基于第二MR交互场景所对应的现实环境的物理空间范围，计算目标玩家移动至距离第二MR交互场景最远的第三MR交互场景所需的移动时长；还用于若在移动时长内，目标玩家进入任一第三MR交互场景，则将目标玩家所进入的第三MR交互场景作为第一MR交互场景，并触发场景切换指令；还用于若在达到移动时长时，目标玩家未进入第三MR交互场景，或目标玩家所处的关联对象集合中不存在第三MR交互场景，则结束目标玩家的交互进程。[0115] 可选的，MR场景生成模块1还用于接收第三互动指令，第三互动指令中至少包含屏蔽共享区域，屏蔽共享区域为玩家从发起第三互动指令的玩家从所处物理空间中圈定出的区域；[0116] 状态共享通信模块4还用于实时获取玩家状态信息，当目标对象为玩家时，且目标对象所持MR交互设备移动至对应的屏蔽共享区域时，停止向目标交互对象所对应的关联交互对象共享目标交互对象的状态信息；还用于当目标交互对象不处于屏蔽共享区域时，向目标交互对象所对应的关联交互对象实时共享目标交互对象的状态信息。[0117] 可选的，状态共享通信模块4还用于在目标交互对象所持MR交互设备移动至对应的屏蔽共享区域时，停止向目标交互对象所对应的关联交互对象共享目标交互对象的状态信息，并开始计时；还用于若在计时时长达到屏蔽共享时限之前，目标交互对象所持MR交互设备离开屏蔽共享区域，则停止计时，并重新开始实时向目标交互对象所对应的关联交互对象共享目标交互对象的状态信息；还用于若在计时时长达到屏蔽共享时限时，目标交互对象所持MR交互设备处于屏蔽共享区域内，则结束目标交互对象的交互进程。[0118] 可选的，还包括场景共享模块，用于接收目标玩家发出的场景共享指令，场景共享指令中至少包括被共享玩家所持MR交互设备；还用于当被共享玩家所持MR交互设备进入目标玩家当前所对应的MR交互场景内时，向被共享玩家所持MR交互设备发送带有目标玩家所对应的MR交互场景的第二互动指令；还用于接收第二互动指令，将第二互动指令中的MR交互场景呈现于玩家所持MR交互设备上。[0119] 本申请实施例还公开一种基于MR技术的交互系统，基于MR技术的交互系统包括存储器和处理器，存储器上存储有能够被处理器加载并执行如上述的基于MR技术的交互方法的计算机程序。[0120] 本申请实施例还公开一种计算机可读存储介质，其存储有能够被处理器加载并执行如上述的基于MR技术的交互方法的计算机程序，该计算机可读存储介质例如包括：U盘、移动硬盘、只读存储器(Read‑OnlyMemory，ROM)、随机存取存储器(RandomAccessMemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。[0121] 需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。[0122] 以上实施例仅用以说明本申请的技术方案，而非对申请的保护范围进行限制。显然，所描述的实施例仅仅是本申请部分实施例，而不是全部实施例。基于这些实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所要保护的范围。

专利地区：江苏

专利申请日期：2024-05-16

专利公开日期：2024-08-13

专利公告号：CN118192811B