虚拟内容的显示方法、装置、系统、终端设备及存储介质

专利名称：虚拟内容的显示方法、装置、系统、终端设备及存储介质

专利类型：实用新型专利

专利申请号：CN201910377282.X

专利申请（专利权）人：广东虚拟现实科技有限公司
权利人地址：广东省广州市海珠区琶洲大道83号5层自编504房

专利发明（设计）人：卢智雄,戴景文,贺杰

专利摘要：本申请实施例公开了一种虚拟内容的显示方法、装置、系统、终端设备及存储介质，涉及显示技术领域。该虚拟内容的显示方法应用于终端设备，终端设备与交互装置通信连接，交互装置包括交互区域，该虚拟内容的显示方法包括：获取待显示内容，待显示内容包含非交互内容及交互内容；获取非交互内容对应的第一内容数据；获取交互装置与终端设备之间的相对空间位置信息；根据相对空间位置信息以及第一内容数据，生成虚拟扩展内容；当交互内容对应的交互画面进行显示时，显示虚拟扩展内容，交互画面的第一显示区域与交互区域对应，虚拟扩展内容的第二显示区域与交互区域外的设定区域对应。本方法可以提升显示内容的显示效果。

主权利要求：
1.一种虚拟内容的显示方法，其特征在于，应用于终端设备，所述终端设备与交互装置通信连接，所述交互装置包括交互区域，所述方法包括：获取待显示内容，所述待显示内容包含非交互内容及交互内容，所述待显示内容包括多个菜单页面；
根据所述多个菜单页面，获取第一菜单页面对应的第二菜单页面的第一数据，并将所述第一数据作为所述非交互内容对应的第一内容数据，其中，所述第二菜单页面为所述第一菜单页面的上一级菜单页面或者下一级菜单页面；
获取所述交互装置与所述终端设备之间的相对空间位置信息；
根据所述相对空间位置信息以及所述第一内容数据，生成虚拟扩展内容；
当所述第一菜单页面对应的交互画面进行显示时，显示所述虚拟扩展内容，所述虚拟扩展内容包括所述第二菜单页面，所述交互画面的第一显示区域与所述交互区域对应，所述虚拟扩展内容的第二显示区域与所述交互区域外的设定区域对应。
2.根据权利要求1所述的方法，其特征在于，所述根据所述相对空间位置信息以及所述第一内容数据，生成虚拟扩展内容，包括：获取设定区域与所述交互装置之间的第一相对位置关系，所述设定区域为虚拟扩展内容进行显示时在真实环境中对应的叠加区域；
根据所述相对空间位置信息以及所述第一相对位置关系，获取所述设定区域与所述终端设备之间的第二相对位置关系；
根据所述第二相对位置关系以及所述第一内容数据，生成所述虚拟扩展内容。
3.根据权利要求2所述的方法，其特征在于，所述获取设定区域与所述交互装置之间的第一相对位置关系，包括：根据所述交互装置的非握持区域，确定所述交互区域外与所述非握持区域对应的设定区域，并获取所述设定区域与所述交互装置之间的第一相对位置关系，所述非握持区域为所述交互装置的边缘区域中未被握持的区域；或者根据所述交互区域检测到的第一操控动作参数，确定所述交互区域外与所述第一操控动作参数对应的设定区域，并获取所述设定区域与所述交互装置的第一相对位置关系；或者读取预先存储的所述交互区域外的设定区域与所述交互装置的第一相对位置关系。
4.根据权利要求3所述的方法，其特征在于，所述根据所述交互装置的非握持区域，确定所述交互区域外与所述非握持区域对应的设定区域，并获取所述设定区域与所述交互装置之间的第一相对位置关系，包括：当检测到所述交互装置处于被握持状态时，采集手势图像；
根据所述手势图像，确定所述交互装置的非握持区域；
获取所述交互区域外与所述非握持区域对应的设定区域，并获取所述设定区域与所述交互装置之间的第一相对位置关系。
5.根据权利要求1所述的方法，其特征在于，所述第二菜单页面为所述第一菜单页面的下一级菜单页面，在所述当所述第一菜单页面对应的交互画面进行显示时，显示所述虚拟扩展内容，所述虚拟扩展内容包括所述第二菜单页面之后，所述方法还包括：根据所述交互区域检测到的第二操控动作参数，确定所述第一菜单页面中处于选中状态的菜单项，并获取与所述处于选中状态的菜单项对应的新的下一级菜单页面的第二数据；
根据所述相对空间位置信息以及所述第二数据，生成新的虚拟扩展内容；
将当前显示的所述虚拟扩展内容切换为所述新的虚拟扩展内容，所述新的虚拟扩展内容包括所述新的下一级菜单页面。
6.根据权利要求1‑5任一项所述的方法，其特征在于，所述交互区域包括触控屏，所述获取待显示内容，包括：发送数据请求至所述交互装置，所述数据请求用于指示所述交互装置获取所述触控屏待显示内容；
接收所述交互装置发送的所述待显示内容。
7.根据权利要求1‑5任一项所述的方法，其特征在于，在所述当所述交互内容对应的交互画面进行显示时，显示所述虚拟扩展内容之前，所述方法还包括：获取所述交互内容对应的第二内容数据；
获取与所述非交互内容对应的图标数据；
根据所述第二内容数据、所述图标数据以及所述相对空间位置信息，生成交互画面；
所述当所述交互内容对应的交互画面进行显示时，显示所述虚拟扩展内容，包括：将所述交互画面进行显示；
当根据所述交互区域检测的第三操控动作参数，确定对所述交互画面中的图标进行操作时，显示与被操作的图标对应的虚拟扩展内容，所述虚拟扩展内容的第二显示区域与所述被操作的图标在所述交互区域外匹配的设定区域对应。
8.根据权利要求7所述的方法，其特征在于，所述根据所述第二内容数据、所述图标数据以及所述相对空间位置信息，生成交互画面，包括：从所述第二内容数据中获取控件数据；
根据所述控件数据确定各个控件在交互画面中的第一排布位置及第一比例大小；
根据所述图标数据确定各个图标在所述交互画面中的第二排布位置及第二比例大小；
根据所述相对空间位置信息和所述第一排布位置及第一比例大小、第二排布位置及第二比例大小，生成包含所述控件及图标的交互画面；
在所述显示所述虚拟扩展内容之后，还包括：
当根据所述交互区域检测到的第四操控动作参数，确定对所述交互画面中的控件进行操作时，根据被操作的控件生成控制指令，并根据所述控制指令控制所述虚拟扩展内容中的虚拟对象。
9.一种虚拟内容的显示装置，其特征在于，应用于终端设备，所述终端设备与交互装置通信连接，所述交互装置包括交互区域，所述装置包括：内容获取模块，用于获取待显示内容，所述待显示内容包含非交互内容及交互内容，所述待显示内容包括多个菜单页面；
数据获取模块，用于根据所述多个菜单页面，获取第一菜单页面对应的第二菜单页面的第一数据，并将所述第一数据作为所述非交互内容对应的第一内容数据，其中，所述第二菜单页面为所述第一菜单页面的上一级菜单页面或者下一级菜单页面；
位置获取模块，用于获取所述交互装置与所述终端设备之间的相对空间位置信息；
内容生成模块，用于根据所述相对空间位置信息以及所述第一内容数据，生成虚拟扩展内容；
显示控制模块，用于当所述第一菜单页面对应的交互画面进行显示时，显示所述虚拟扩展内容，所述虚拟扩展内容包括所述第二菜单页面，所述交互画面的第一显示区域与所述交互区域对应，所述虚拟扩展内容的第二显示区域与所述交互区域外的设定区域对应。
10.一种虚拟内容的显示系统，其特征在于，所述系统包括终端设备以及交互装置，所述终端设备与所述交互装置通信连接，所述交互装置包括交互区域，其中：所述交互装置，用于根据所述交互区域待显示内容，获取所述待显示内容包括的多个菜单页面中第一菜单页面对应的第二菜单页面的第一数据，并将所述第一数据作为所述待显示内容中非交互内容对应的第一内容数据，所述待显示内容包含所述非交互内容及交互内容，所述第二菜单页面为所述第一菜单页面的上一级菜单页面或者下一级菜单页面，将所述第一内容数据发送至所述终端设备，并控制所述交互区域显示所述交互内容对应的交互画面；
所述终端设备，用于获取所述交互装置与所述终端设备之间的相对空间位置信息，接收所述第一内容数据，根据所述相对空间位置信息以及所述第一内容数据，生成虚拟扩展内容，当所述第一菜单页面对应的交互画面进行显示时，显示所述虚拟扩展内容，所述虚拟扩展内容包括所述第二菜单页面，所述虚拟扩展内容的显示区域与所述交互区域外的设定区域对应。
11.一种终端设备，其特征在于，包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行如权利要求1‑8任一项所述的方法。
12.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1‑8任一项所述的方法。 说明书 : 虚拟内容的显示方法、装置、系统、终端设备及存储介质技术领域[0001] 本申请涉及显示技术领域，更具体地，涉及一种虚拟内容的显示方法、装置、系统、终端设备及存储介质。背景技术[0002] 目前，随着多媒体技术的快速发展，越来越多的智能移动终端(如掌上电脑、智能手机、智能手表等)进入了人们的生活，又由于体积小、方便携带等特点，深受人们喜爱。但是，在传统的智能移动设备的使用过程中，智能移动设备显示的内容通常受限于智能移动设备的屏幕大小，使得显示的内容不够丰富，不够完整。发明内容[0003] 本申请实施例提出了一种虚拟内容的显示方法、装置、系统、终端设备及存储介质，能够提升显示内容的显示效果。[0004] 第一方面，本申请实施例提供了一种虚拟内容的显示方法，应用于终端设备，终端设备与交互装置通信连接，交互装置包括交互区域，所述方法包括：获取待显示内容，待显示内容包含非交互内容及交互内容；获取非交互内容对应的第一内容数据；获取交互装置与终端设备之间的相对空间位置信息；根据相对空间位置信息以及第一内容数据，生成虚拟扩展内容；当交互内容对应的交互画面进行显示时，显示虚拟扩展内容，交互画面的第一显示区域与交互区域对应，虚拟扩展内容的第二显示区域与交互区域外的设定区域对应。[0005] 第二方面，本申请实施例提供了一种虚拟内容的显示装置，应用于终端设备，终端设备与交互装置通信连接，交互装置包括交互区域，所述装置包括：内容获取模块、数据获取模块、位置获取模块、内容生成模块以及显示控制模块，其中，内容获取模块用于获取待显示内容，待显示内容包含非交互内容及交互内容；数据获取模块用于获取非交互内容对应的第一内容数据；位置获取模块用于获取交互装置与终端设备之间的相对空间位置信息；内容生成模块用于根据相对空间位置信息以及第一内容数据，生成虚拟扩展内容；显示控制模块用于当交互内容对应的交互画面进行显示时，显示虚拟扩展内容，交互画面的第一显示区域与交互区域对应，虚拟扩展内容的第二显示区域与交互区域外的设定区域对应。[0006] 第三方面，本申请实施例提供了一种虚拟内容的显示系统，系统包括终端设备以及交互装置，终端设备与交互装置通信连接，交互装置包括交互区域，其中，交互装置用于根据交互区域待显示内容，获取待显示内容中非交互内容对应的第一内容数据，待显示内容包含非交互内容及交互内容，将第一内容数据发送至终端设备，并控制交互区域显示交互内容对应的交互画面；终端设备用于获取交互装置与终端设备之间的相对空间位置信息，接收第一内容数据，根据相对空间位置信息以及第一内容数据，生成虚拟扩展内容，并显示虚拟扩展内容，虚拟扩展内容的显示区域与交互区域外的设定区域对应。[0007] 第四方面，本申请实施例提供了一种终端设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于执行上述第一方面提供的虚拟内容的显示方法。[0008] 第五方面，本申请实施例提供了一种计算机可读取存储介质，计算机可读取存储介质中存储有程序代码，程序代码可被处理器调用执行上述第一方面提供的虚拟内容的显示方法。[0009] 本申请实施例提供的方案，终稿设备通过获取待显示内容，该待显示内容包含非交互内容及交互内容，然后获取非交互内容对应的第一内容数据，获取交互装置与终端设备之间的相对空间位置信息，以根据相对空间位置信息以及第一内容数据，生成虚拟扩展内容，当交互内容对应的交互画面进行显示时，显示虚拟扩展内容，交互画面的第一显示区域与交互区域对应，虚拟扩展内容的第二显示区域与交互装置的交互区域外的设定区域对应，从而实现根据交互装置的空间位置，在虚拟空间中将显示内容中非交互内容对应的虚拟扩展内容进行显示，使用户可以看到非交互内容对应的虚拟扩展内容叠加于交互区域外的效果，显示的交互内容则与交互区域对应，扩大了显示内容的显示空间，提升了显示内容的显示效果，且更有利于用户与显示内容进行交互。附图说明[0010] 为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。[0011] 图1示出了一种适用于本申请实施例的应用环境示意图。[0012] 图2示出了一种适用于本申请实施例的另一种应用场景的示意图。[0013] 图3示出了根据本申请一个实施例的虚拟内容的显示方法流程图。[0014] 图4A‑4B示出了根据本申请实施例的一种显示效果示意图。[0015] 图5示出了根据本申请另一个实施例的虚拟内容的显示方法流程图。[0016] 图6示出了根据本申请实施例的一种显示效果示意图。[0017] 图7示出了根据本申请实施例的另一种显示效果示意图。[0018] 图8示出了根据本申请实施例的又一种显示效果示意图。[0019] 图9示出了根据本申请一个实施例的虚拟内容的显示装置的框图。[0020] 图10是本申请实施例的用于执行根据本申请实施例的虚拟内容的显示方法的终端设备的框图。[0021] 图11是本申请实施例的用于执行根据本申请实施例的虚拟内容的显示方法的交互装置的框图。[0022] 图12是本申请实施例的用于保存或者携带实现根据本申请实施例的虚拟内容的显示方法的程序代码的存储单元。具体实施方式[0023] 为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。[0024] 随着科技水平和生活水平的快速提升，移动终端(例如，智能手机、平板电脑等)被普及，由于移动终端具有体积小巧、方便携带等特点，受到大家的喜爱。移动终端在被用户使用时，通常会在触控屏幕上显示内容，例如显示多媒体画面、应用界面、文件内容等。由于移动终端屏幕的大小有限，其显示的内容也受限于屏幕的大小。[0025] 发明人经过长期研究提出了本申请实施例中的虚拟内容的显示方法、装置、系统、终端设备及存储介质，通过根据交互装置的空间位置，通过增强现实的方式，将显示内容中非交互内容转换为虚拟扩展内容并在虚拟空间中进行显示，使用户可以看到虚拟扩展内容显示于交互装置的交互区域外的效果，提升了交互区域对应的显示内容的显示效果。[0026] 下面对本申请实施例提供的虚拟内容的显示方法的应用场景进行介绍。[0027] 请参见图1，示出了本申请实施例提供一种虚拟内容的显示系统10，包括终端设备100以及交互装置200，其中，终端设备100与交互装置200通信连接。[0028] 在本申请实施例中，终端设备100可以是头戴显示装置，也可以是手机、平板等移动设备。终端设备100为头戴显示装置时，头戴显示装置可以为一体式头戴显示装置。终端设备100也可以是与外接式/接入式头戴显示装置连接的手机等智能终端，即终端设备100可作为头戴显示装置的处理和存储设备，插入或者接入外接式头戴显示装置，通过头戴显示装置对虚拟内容进行显示。[0029] 在本申请实施例中，交互装置200可以是设置有标记物201的电子设备，设置于交互装置200上的标记物201的数量并不限定，标记物201的数量可以为一个或者多个。交互装置200的具体形态结构及尺寸大小不受限制，可以是各种形状的，例如正方形、圆形，也可以是各种形态的，例如平面等。[0030] 在一些实施例中，标记物201可以粘贴附着或集成于交互装置200上，也可以是设置在交互装置200的保护套上，还可以是外接式标记物，在使用时可以通过USB(UniversalSerialBus，通用串行总线)或耳机孔等插入交互装置200。若交互装置200上设置有显示屏时，标记物201还可以显示于交互装置200的显示屏上。[0031] 在一些实施例中，交互装置200可以与终端设备100进行信息以及指令的交互，终端设备100与交互装置200可通过蓝牙、WiFi(Wireless‑Fidelity，无线保真)、ZigBee(紫峰技术)等无线通信方式连接，也可通过USB接口进行有线通信连接。请参见图2，终端设备100为头戴显示装置，交互装置200为手机终端或平板电脑时，头戴显示装置通过USB接口与平板电脑与手机终端进行有线通信连接。当然，终端设备100与交互装置200的连接方式在本申请实施例中并不限定。[0032] 在终端设备100与交互装置200被共同使用时，可使标记物201位于终端设备100上的图像传感器的视觉范围内，以采集到包含标记物201的图像，进而对标记物201进行识别追踪，实现对交互装置200的定位追踪。[0033] 在一些实施例中，终端设备100还可以根据设置在交互装置200上的光点，实现对交互装置200的定位追踪，其中，光点可以是光点阵列。[0034] 在一些实施例中，交互装置200上设有至少一个交互区域202，用户可以通过交互区域202进行相关控制和交互。其中，交互区域202可以包括按键、触控板或者触摸屏。交互装置200可以通过交互区域202检测到的控制操作，生成与该控制操作对应的控制指令，进行相关控制。交互装置200还可以将该控制指令发送给终端设备100，或者是交互装置200根据交互区域检测到的操作生成操作数据，并将操作数据发送至终端设备100。当终端设备100接收到交互装置200发送的控制指令时，可根据控制指令控制虚拟内容的显示(例如控制虚拟内容旋转、位移等)。[0035] 在一个具体的实施方式中，终端设备100为头戴显示装置，用户通过佩戴头戴显示装置，可观察到虚拟聊天界面301叠加显示于现实空间的交互装置200的交互区域202上，并且，还可以观察到虚拟聊天界面301中的非交互内容(如历史聊天记录302)显示于交互区域202外的位置，使用户可以在虚拟聊天界面301与聊天对象进行聊天的同时查看历史聊天记录302，便于用户在通过交互装置200查看内容时，不受交互区域大小的限制，实现显示内容的交互显示。[0036] 下面对具体的虚拟内容的显示方法进行介绍。[0037] 请参阅图3，本申请实施例提供了一种虚拟内容的显示方法，可应用于上述终端设备，终端设备与交互装置通信连接，交互装置包括交互区域，该方法可以包括：[0038] 步骤S110：获取待显示内容，待显示内容包含非交互内容及交互内容。[0039] 在本申请实施例中，上述待显示内容预先设置的显示区域与交互区域对应。在一种实施方式中，交互区域包括触控屏，待显示内容可以是交互装置需要通过触控屏显示的内容。在另一种实施方式中，待显示内容也可以是终端设备需要显示的内容，终端设备在显示待显示内容时，终端设备可以将待显示内容转化为对应的虚拟内容并叠加显示于交互区域，用户通过头戴显示装置可以看到对应的虚拟内容叠加显示于真实世界中的交互装置上，实现待显示内容的显示区域与交互区域对应。[0040] 由于交互区域的区域大小有限，使得其对应的待显示内容将受限于区域的大小，导致待显示内容的显示效果不佳，因此，可以将上述待显示内容中的非交互内容通过增强现实技术叠加显示于交互区域外，仅需将待显示内容中交互内容的显示区域与交互区域对应，在保证待显示内容的完整显示的同时，提升了交互区域对应的交互内容的显示效果。在本申请实施例中，终端设备可以获取待显示内容，以根据该待显示内容来确定非交互内容。其中，待显示内容包含非交互内容以及交互内容。[0041] 在一些实施方式中，待显示内容可以为交互装置需要显示的内容，终端设备获取待显示内容，可以是交互装置在获取到触控屏待显示内容后，将该待显示内容传输至终端设备，从而终端设备可以获取到触控屏待显示内容。其中，该待显示内容可以存储于交互装置，也可以是交互装置从服务器或其他电子设备获取，在此不做限定。[0042] 在另一些实施方式中，待显示内容可以为终端设备需要显示的内容，该待显示内容可以存储于终端设备，也可以是终端设备从服务器或其他电子设备获取，还可以是通过识别交互装置上的标记物获取。当然，以上待显示内容的获取方式仅为举例，具体的待显示内容在本申请实施例中可以不作为限定。例如，也可以是根据采集的终端设备所处环境的场景图像获取待显示内容。[0043] 在本申请实施例中，上述待显示内容可以是任意内容，在此不作限定。例如，可以是应用桌面、应用程序的界面(如聊天界面、游戏界面)、多级菜单页面(如设置页面、文件管理页面)等。上述非交互内容为当前待显示内容中，不需要进行交互仅需要查看的内容，例如信号强度、电量、时间、文档、图片、视频、个人信息、预览信息、历史聊天内容、历史邮件内容、历史交互页面(如上级菜单页面)、下级交互页面等内容。交互内容可以是当前交互界面、操作控件等。当然，具体的待显示内容、非交互内容及交互内容可以在本申请实施例中不作为限定。[0044] 步骤S120：获取非交互内容对应的第一内容数据。[0045] 在本申请实施例中，终端设备可根据上述待显示内容，获取待显示内容中非交互内容对应的第一内容数据，以确定待显示内容中显示区域不与交互区域对应的内容。其中，当待显示内容由交互装置进行显示时，终端设备从交互装置处获取到的待显示内容为待显示内容的图像数据，因此，该非交互内容对应的第一内容数据，可以是该非交互内容的图像数据。当待显示内容由终端设备进行显示时，终端设备获取到的非交互内容对应的第一内容数据，可以是非交互内容对应的三维模型数据，该三维模型数据可以包括用于构建三维模型对应的模型的颜色、模型顶点坐标、模型轮廓数据等。[0046] 在一些实施方式中，待显示内容为交互装置需要显示的内容时，终端设备可以直接从交互装置处获取非交互内容对应的第一内容数据。作为一种方式，终端设备可以发送数据请求至交互装置，交互装置可根据该数据请求，将该非交互内容的第一内容数据传输至终端设备，从而终端设备可以获取到非交互内容对应的第一内容数据。[0047] 步骤S130：获取交互装置与终端设备之间的相对空间位置信息。[0048] 在本申请实施例中，终端设备可以获取交互装置与终端设备之间的相对空间位置信息，以便终端设备根据相对空间位置信息显示相应的虚拟内容。[0049] 作为一种实施方式，终端设备可以通过图像传感器采集交互装置上的标记物的图像，并识别追踪图像中的标记物，获取交互装置与终端设备之间的相对空间位置信息。其中，交互装置与终端设备之间的相对空间位置信息包括：交互装置与终端设备之间的相对位置信息以及姿态信息等，姿态信息可以为交互装置相对终端设备的朝向及旋转角度等。[0050] 在一些实施方式中，标记物为具有拓扑结构的图案，拓扑结构是指标记物中的子标记物和特征点等之间连通关系。[0051] 在一些实施方式，交互装置上还可设置有光点和惯性测量单元(Inertialmeasurementunit，IMU)，终端设备可以通过图像传感器采集交互装置上的光点图像，并通过惯性测量单元获取测量数据，根据该光点图像和测量数据即可确定交互装置与终端设备之间的相对空间位置信息，实现对交互装置的定位及追踪。其中，交互装置上设置的光点可以是可见光点或者红外光点，光点的数量可以是一个或者由多个光点组成的光点序列。[0052] 当然，具体获取交互装置与终端设备之间的相对空间位置信息的方式在本申请实施例中可以不作为限定。[0053] 步骤S140：根据相对空间位置信息以及第一内容数据，生成虚拟扩展内容。[0054] 在本申请实施例中，终端设备在获取到交互装置与终端设备之间的相对空间位置信息、以及上述非交互内容对应的第一内容数据之后，终端设备可根据相对空间位置信息以及第一内容数据，生成上述非交互内容对应的虚拟扩展内容，以便后续显示虚拟扩展内容。[0055] 在一些实施方式中，终端设备可以获取虚拟扩展内容需要显示的设定区域，然后根据上述交互装置与终端设备之间的相对空间位置信息、以及设定区域与交互装置之间的相对位置关系，获取到虚拟扩展内容的渲染位置，再根据渲染位置渲染出虚拟内容。设定区域指的是虚拟扩展内容显示时在现实空间中所叠加的区域。[0056] 具体地，终端设备可以根据交互装置与终端设备之间的相对空间位置信息，以及设定区域与交互装置之间的相对位置关系，获取到设定区域相对终端设备的位置信息，从而获取到现实空间中的设定区域的空间位置坐标，将该空间位置坐标转换为虚拟空间中的空间坐标，其中，虚拟空间指的是用于渲染、显示虚拟扩展内容的三维空间。可将设定区域在虚拟空间中的空间坐标作为虚拟扩展内容在虚拟空间中的渲染坐标，即得到了虚拟扩展内容的渲染位置，以将虚拟扩展内容渲染于渲染位置处。其中，上述渲染坐标指的是虚拟扩展内容在虚拟空间中的三维空间坐标。在一些实施方式中，上述设定区域可以是交互区域外的任意区域或者预设区域，例如，设定区域可以是处于交互区域外但邻近交互区域的区域，设定区域也可以是处于交互区域外且距离交互区域设定距离的区域，当然，具体的设定区域在本申请实施例中并不限定。[0057] 可以理解的是，终端设备在得到用于虚拟空间中渲染虚拟扩展内容的渲染坐标之后，终端设备可以根据获取到的非交互内容对应的第一内容数据，以及根据上述渲染坐标构建虚拟扩展内容。[0058] 步骤S150：当交互内容对应的交互画面进行显示时，显示虚拟扩展内容，交互画面的第一显示区域与交互区域对应，虚拟扩展内容的第二显示区域与交互区域外的设定区域对应。[0059] 在本申请实施例中，当交互内容对应的交互画面进行显示时，终端设备可以对虚拟扩展内容进行显示，其中，交互画面的第一显示区域与交互区域对应，虚拟扩展内容的第二显示区域与交互区域外的设定区域对应。通过将上述待显示内容中的非交互内容通过增强现实显示技术叠加显示于交互区域外，将待显示内容的交互内容的显示区域与交互区域对应，保证了待显示内容的完整显示的同时，提升了交互区域对应的交互内容的显示效果。[0060] 具体地，终端设备构建并渲染出虚拟扩展内容后，可以将虚拟扩展内容转化为虚拟画面，获取虚拟画面的显示数据，该显示数据可以包括显示画面中各个像素点的RGB值及对应的像素点坐标等，终端设备可根据该显示数据生成显示画面，并将显示画面投射，显示出虚拟扩展内容。由于终端设备是根据上述设定区域与交互装置之间的相对位置关系、相对空间位置信息以及上述第一内容数据生成虚拟扩展内容，因此，虚拟扩展内容叠加显示到上述设定区域，即虚拟扩展内容的显示叠加区域为交互区域外的设定区域，用户通过头戴显示装置的显示镜片，可以看到虚拟扩展内容叠加显示在真实世界中的交互装置的交互区域外的设定区域，实现增强现实的效果。[0061] 由于虚拟扩展内容的显示区域为交互区域外的设定区域，因此，虚拟扩展内容的显示位置不会与交互区域对应的其他内容产生冲突，从而用户可以在查看上述交互区域外的虚拟扩展内容的同时，对交互区域对应的交互内容进行操控，实现了待显示内容的完整显示的同时，提升了交互区域对应的交互内容的显示效果和操作体验。[0062] 在一些实施方式中，上述交互内容对应的交互画面进行显示，可以是终端设备将交互内容转换为交互画面叠加显示于交互区域。具体地，终端设备可以获取交互内容对应的第二内容数据，以根据该第二内容数据构建出交互内容对应的交互画面；终端设备可根据交互装置与终端设备之间的相对空间位置信息，得到交互画面在虚拟空间中的渲染坐标；终端设备可根据该渲染坐标构建出的交互画面，并叠加显示到交互区域上；用户通过头戴显示装置可以看到交互画面叠加显示于交互区域。作为一种实施方式，终端设备可以同时进行虚拟扩展内容以及交互画面的渲染和显示，使得用户通过头戴显示装置看到交互画面叠加显示于交互区域上，虚拟扩展内容叠加显示于交互区域外的设定区域。[0063] 例如，图1中交互装置200为触控板，不具备显示功能，用户通过佩戴的头戴显示装置，观察到虚拟聊天界面301叠加显示于现实空间的交互装置200的交互区域202，并且可以观察到虚拟聊天界面301中的非交互内容(如历史聊天记录302)以虚拟内容的形式显示于交互区域202外的位置，从而用户可在虚拟聊天界面301通过交互区域202与聊天对象进行聊天，同时也可查看历史聊天记录302，便于用户可以在通过交互装置200查看内容时，不受交互区域大小的限制，实现待显示内容的交互显示，提升了显示效果，且更有利于用户与显示内容进行交互。[0064] 在另一些实施方式中，交互内容对应的交互画面进行显示，也可以是交互装置通过交互区域的触控屏显示交互内容对应的交互画面。终端设备可以在检测到触控屏显示该交互画面时，将虚拟扩展内容进行显示。请参见图4A和图4B，交互装置200为智能手机，图4A为传统的智能手机的屏幕显示，终端设备可以获取智能手机待显示的只需要查看的非交互内容203(比如信号强度、电量、时间等内容)，并将其作为虚拟扩展内容显示于智能手机的触控屏外的区域，请参见图4B，智能手机的触控屏显示交互内容时，用户通过头戴显示装置可以看到虚拟扩展内容303显示于真实世界中的智能手机的触控屏外的区域。[0065] 本申请实施例提供的虚拟内容的显示方法，通过获取待显示内容，待显示内容包含非交互内容及交互内容，然后获取非交互内容对应的第一内容数据，获取交互装置与终端设备之间的相对空间位置信息，以根据相对空间位置信息以及第一内容数据，生成虚拟扩展内容，当其他内容对应的交互画面进行显示时，显示虚拟扩展内容，交互画面的第一显示区域与交互区域对应，虚拟扩展内容的第二显示区域与交互区域外的设定区域对应，从而实现根据交互装置的空间位置，在虚拟空间中将待显示内容中非交互内容对应的虚拟扩展内容进行显示，使用户可以看到虚拟扩展内容显示于交互区域外的效果，显示的交互内容则与交互区域对应，扩大了显示内容的显示空间，提升了显示效果，且更有利于用户与显示内容进行交互。[0066] 请参阅图5，本申请另一实施例提供了一种虚拟内容的显示方法，可应用于终端设备，终端设备与交互装置通信连接，交互装置包括交互区域，该方法可以包括：[0067] 步骤S210：获取待显示内容，待显示内容包含非交互内容及交互内容。[0068] 在一些实施方式中，交互装置的交互区域可以包括触控屏，即交互区域可以进行内容显示。在交互装置显示内容时，上述获取待显示内容，可以包括：发送数据请求至交互装置，数据请求用于指示交互装置获取触控屏待显示内容；接收交互装置发送的待显示内容。[0069] 终端设备在需要获取待显示内容时，可以发送数据请求至交互装置，以获取交互装置的触控屏待显示内容。交互装置在接收到该数据请求时，可以从服务器中获取触控屏待显示内容，也可以从本地存储器中获取触控屏待显示内容。然后将待显示内容的数据传输至终端设备，从而终端设备可以接受到待显示内容的数据。[0070] 在一些实施方式中，终端设备在发送数据请求至交互装置之前，可以先通过有线或无线的方式与交互装置建立通信连接，以使上述数据请求能够成功发送至交互装置，同时也能成功接收交互装置发送的待显示内容的数据。[0071] 在一些实施方式中，非交互内容可以与交互内容中的部分内容对应。例如，该部分内容为操作控件时，非交互内容可以为该操作控件所关联的界面内容，又例如，该部分内容为输入法界面中的拼音九键或英文二十六键时，非交互内容可以为字符输入框、字符显示界面、按键对应的字符候选内容等。[0072] 步骤S220：获取非交互内容对应的第一内容数据。[0073] 在一些应用场景中，由于交互区域的显示区域大小限制，经常需要对待显示内容进行分页，在查看当前级菜单页面时，通常会将上一级菜单页面隐藏起来，需要通过返回才能查看其他菜单页面的内容，而且在查看当前级菜单页面时，也无法直接看到下一级菜单页面，需要选择某个菜单项进入才能看到。因此，在本申请实施例中，终端设备可以将当前级菜单页面的上一级菜单页面或者下一级菜单页面作为非交互内容，并转化为虚拟扩展内容叠加显示于交互区域外的设定区域，从而用户可以同时查看上一级菜单页面以及交互区域对应的当前菜单页面，或者用户可以同时查看交互区域对应的当前菜单页面，以及下一级菜单页面。[0074] 具体地，在一些实施方式中，上述待显示内容中可包括多个菜单页面，上述获取非交互内容对应的第一内容数据，可以包括：根据多个菜单页面，获取第一菜单页面对应的第二菜单页面的第一数据，并将第一数据作为待显示内容中的非交互内容对应的第一内容数据。其中，第二菜单页面为第一菜单页面的上一级菜单页面或者下一级菜单页面，第二菜单页面的第一数据可以是第二次菜单页面的图像数据。从而终端设备可以将当前级菜单页面的上一级菜单页面或者下一级菜单页面的第一数据作为待显示内容中的非交互内容对应的第一内容数据，以便后续根据该第一内容数据进行虚拟扩展内容的生成。[0075] 在一些实施方式中，上述第一菜单页面可以是待显示的多个菜单页面中，当前需要操作的菜单页面。可以理解的是，当第一菜单页面为多个菜单页面中的第一级菜单页面时，上述第二菜单页面只可以是第一菜单页面的下一级菜单页面，例如，当第一菜单页面为手机的设置页面时，第二菜单页面可以是蓝牙设置的子页面、可连接的无线账号的子页面等。当第一菜单页面为多个菜单页面中除第一级菜单页面外的其他级菜单页面时，上述第二菜单页面可以是第一菜单页面的下一级菜单页面，也可以是第一菜单页面的上一级菜单页面，例如，当第一菜单页面为电量设置的子页面时，第二菜单页面可以是对应的上一级页面，如手机的设置页面，也可以是对于的下一级页面，如省电设置页面、休眠设置页面等。[0076] 由于第一菜单页面包括多个菜单项时，第一菜单页面可对应多个第二菜单页面。因此，作为一种实施方式，终端设备可以默认获取菜单项列表中的第一个菜单项对应的第二菜单页面对应的第一数据，并将该第一数据作为上述非交互内容对应的第一内容数据。例如，当前需要操作的第一菜单页面为文件管理页面时，终端设备可以默认获取第一个文件夹下的文件内容对应的数据。[0077] 作为另一种实施方式，终端设备也可以获取菜单项列表中的多个菜单项对应的第二菜单页面的对应的第一数据，也就是说，终端设备可以将多个第二菜单页面作为非交互内容。例如，第一菜单页面为游戏界面时，终端设备可以获取背包菜单项、地图菜单项等对应的第二菜单页面的数据。[0078] 步骤S230：获取交互装置与终端设备之间的相对空间位置信息。[0079] 在本申请实施例中，步骤S230可以参阅上述实施例的内容，在此不再赘述。[0080] 步骤S240：获取设定区域与交互装置之间的第一相对位置关系，设定区域为虚拟扩展内容进行显示时在真实环境中对应的叠加区域。[0081] 在本申请实施例中，终端设备可以获取虚拟扩展内容需要显示的显示区域，以便后续根据该显示区域生成虚拟扩展内容。具体地，终端设备可以获取设定区域与交互装置之间的第一相对位置关系，其中，设定区域指的是终端设备将虚拟扩展内容叠加显示到真实环境中对应的叠加区域，也可以理解为用户通过终端设备看到的虚拟扩展内容在真实环境中的区域。[0082] 在一些实施方式中，上述获取设定区域与交互装置之间的第一相对位置关系，可以包括：根据交互装置的非握持区域，确定交互区域外与非握持区域对应的设定区域，并获取设定区域与交互装置之间的第一相对位置关系，非握持区域为交互装置的边缘区域中未被握持的区域。从而，终端设备可以根据用户握持交互装置的握持区域，将虚拟扩展内容的显示区域设定在交互装置未被握持的边外侧区域。[0083] 在一些实施例中，交互区域外的设定区域可以与交互装置的非握持区域对应，也就是说，用户握持交互装置的不同边缘侧，对应的非握持区域不同，终端设备可根据设定区域与非握持区域的对应关系，确定不同非握持区域对应的设定区域，从而生成的虚拟扩展内容的显示区域也可以不同。例如，用户握持交互装置相对终端设备的左右侧时，虚拟扩展内容对应的显示区域可以是交互区域外相对终端设备的上侧区域或下侧区域，避免虚拟扩展内容与用户的手之间发生遮挡。其中，设定区域与非握持区域的对应关系可以存储于终端设备，也可以从服务器下载。[0084] 作为一种具体实施方式，上述根据交互装置的非握持区域，确定交互区域外与非握持区域对应的设定区域，并获取设定区域与交互装置之间的第一相对位置关系，可以包括：当检测到交互装置处于被握持状态时，采集手势图像；根据手势图像，确定交互装置的非握持区域；获取交互区域外与非握持区域对应的设定区域，并获取设定区域与交互装置之间的第一相对位置关系。其中，终端设备可通过图像传感器采集用户的手势图像，以根据手势图像确定交互装置的边缘区域中未被握持的区域，从而可根据设定区域与非握持区域的对应关系，获取到交互区域外与非握持区域对应的设定区域。从而，终端设备可以通过检测用户手持交互装置的姿势，来确定出交互装置的非握持区域。[0085] 在一些实施例中，终端设备可以根据交互装置相对终端设备的位置信息、旋转方向及旋转角度，判断交互装置的交互区域是否在终端设备的图像传感器的视野范围内，从而可以判断出交互区域是否处于被握持状态。终端设备也可以直接根据交互装置的传感器的感应数据，判断交互装置是否处于被握持状态。其中，该传感器可以是加速度传感器、重力传感器等。[0086] 作为另一种具体实施方式，交互装置上可设有温度传感器或压力传感器，交互装置可根据相应的感应数据，确定交互装置被用户握持的边缘侧，从而可得到交互装置的非握持区域。交互装置再将该非握持区域的数据传输至终端设备。[0087] 在另一些实施方式中，上述获取设定区域与交互装置之间的第一相对位置关系，也可以包括：根据交互区域检测到的第一操控动作参数，确定交互区域外与第一操控动作参数对应的设定区域，并获取设定区域与交互装置的第一相对位置关系。其中，终端设备可根据交互装置发送的交互区域检测的第一操控动作参数，确定用户选择的设定区域。从而，虚拟扩展内容需要显示的显示区域，也可以由用户自己选择，以满足不同用户的需求。[0088] 在一些实施例中，上述第一操控动作参数可以包括触控操作对应的触控位置、触控操作的类型、触控操作的手指数量、手指按压压力以及触控操作的持续时间等参数。其中，触控操作对应的触控位置，可以指交互区域上被操纵的区域所在位置，例如，可以为交互区域所在平面的平面坐标系中的触控坐标。触控操作的类型可以包括点击操作、滑动操作、长按操作等。触控操作的手指数量，指执行该处操作的手指的数量，即交互区域的传感器检测到触控操作操作时被按压的区域的数量，例如数量为1，又例如，数量为2。手指按压压力指执行该触控操作的按压压力，即交互区域的传感器检测到的压力的大小，例如按压压力为0.5N(牛)。触控操作的持续时间为交互区域检测到的手指在交互区域上接触的时间，例如持续时间为1S(秒)。当然，具体的第一操控动作参数可以在本申请实施例中不作为限定，第一操控动作参数也可以包括其他触控参数，例如，滑动轨迹、点击操作的点击频率等。[0089] 在一些实施例中，终端设备根据第一操控动作参数确定交互区域外与第一操控动作参数对应的设定区域，可以是在设定区域的选择列表显示于交互区域时，选择列表中可包括多个设定区域。也可以是在用于设置设定区域相对交互区域的距离的滑动条显示于交互区域时。交互区域在检测到对上述选择列表以及滑动条的触控操作之后，交互装置可以发送对应的操控动作参数至终端设备，从而终端设备根据操控动作参数可以确定出用户选择的设定区域选项。例如，根据第一操控动作参数确定用户当前选中设定区域选项时的触控位置，根据第一操控动作参数确定用户当前对滑动条的滑动长度。[0090] 在一些实施方式中，上述获取设定区域与交互装置之间的第一相对位置关系，还可以包括：读取预先存储的交互区域外的设定区域与交互装置的第一相对位置关系。可以理解的，虚拟扩展内容需要显示的显示区域与交互装置之间的位置关系可以是固定的，例如，上述设定区域处于交互区域外的左侧区域、右侧区域等。[0091] 当然，具体获取设定区域与交互装置之间的第一相对位置关系的方式，在本申请实施例中可以不作为限定。[0092] 步骤S250：根据相对空间位置信息以及第一相对位置关系，获取设定区域与终端设备之间的第二相对位置关系。[0093] 在本申请实施例中，终端设备可以根据交互装置与终端设备之间的相对空间位置信息以及设定区域与交互装置之间的第一相对位置关系，以终端设备为参照物，获取到设定区域与终端设备之间的第二相对位置关系，从而可以得到现实空间中的设定区域的空间位置信息。[0094] 步骤S260：根据第二相对位置关系以及第一内容数据，生成虚拟扩展内容。[0095] 在本申请实施例中，终端设备在确定虚拟扩展内容需要显示的设定区域后，可以根据设定区域与终端设备之间的第二相对位置关系，获取到虚拟扩展内容在虚拟空间中的渲染位置，再根据渲染位置渲染出虚拟内容。生成虚拟扩展内容的具体步骤可以参阅上述实施例的内容，在此不再赘述。[0096] 步骤S270：当交互内容对应的交互画面进行显示时，显示虚拟扩展内容，交互画面的第一显示区域与交互区域对应，虚拟扩展内容的第二显示区域与交互区域外的设定区域对应。[0097] 在一些实施例中，当待显示内容包括多个菜单页面，非交互内容为第一菜单页面的上一级菜单页面或者下一级菜单页面时，上述当交互内容对应的交互画面进行显示时，显示虚拟扩展内容，可以包括：当第一菜单页面对应的交互画面进行显示时，显示虚拟扩展内容，虚拟扩展内容包括第二菜单页面。从而在第一菜单页面对应的交互画面的显示区域与交互区域对应的同时，用户通过头戴显示装置可以看到第二菜单页面叠加显示于交互区域外的设定区域，从而用户可以同时查看上一级菜单页面以及交互区域对应的当前菜单页面，或者用户可以同时查看交互区域对应的当前菜单页面，以及下一级菜单页面。其中，第一菜单页面对应的交互画面可以是由终端设备叠加显示于交互区域上，也可以是由交互装置通过交互区域的触控屏进行显示。[0098] 例如，请参见图6，交互装置200为智能手机，智能手机进入无线局域网菜单页面204时，终端设备可以其对应的上一级菜单页面转换为虚拟扩展内容303显示于智能手机的触控屏外的区域，使用户在查看无线局域网菜单页面的同时，也可以查看到上一级的菜单页面。又例如，请参见图7，待显示的内容为游戏界面时，终端设备可以将游戏画面、背包选项、地图选项等对应的下一级菜单页面作为非交互内容转换为虚拟扩展内容，并显示于智能手机的触控屏外的区域，使用户通过头戴显示装置可以看到虚拟游戏画面304、虚拟背包内容305、虚拟地图内容306显示于真实世界中的智能手机的触控屏外的区域。[0099] 在一些实施例中，终端设备在交互区域外的设定区域显示虚拟扩展内容时，终端设备可以在交互区域上显示与虚拟扩展内容对应的图标，以对虚拟扩展内容进行标识区分。具体地，在上述当交互内容对应的交互画面进行显示时，显示虚拟扩展内容之前，该虚拟内容的显示方法还可以包括：[0100] 获取交互内容对应的第二内容数据；获取与非交互内容对应的图标数据；根据第二内容数据、图标数据以及相对空间位置信息，生成交互画面。[0101] 在一些实施方式中，交互装置不具备显示功能时，上述交互内容以及非交互内容都可以由终端设备进行显示。终端设备可以根据上述待显示内容中的非交互内容，获取与非交互内容对应的图标的图标数据，从而可以根据交互内容对应的第二内容数据、图标数据以及上述相对空间位置信息，生成包含有图标和上述交互内容的交互画面。该图标数据可以包括用于渲染图标的模型数据，该第二内容数据可以包括用于渲染交互内容的模型数据。终端还可以获取该图标以及交互内容需要显示于交互区域中的指定位置在交互装置上的位置信息，以根据相对空间位置信息以及该位置信息，得到图标以及交互内容的显示位置，并生成包含有图标和交互内容的交互画面进行显示。其中，生成交互画面的方式可以参阅上述实施例中生成虚拟扩展内容的方式，在此不再赘述。[0102] 作为一种方式，非交互内容为上一级菜单页面时，对应的图标列表中的各个图标与上一级菜单页面中的各个菜单项一一对应，根据上一级菜单页面生成的虚拟扩展内容可以是各个图标的解释、说明、名称等信息内容。可以理解的是，上述与非交互内容对应的图标数据，可以是存储于终端设备，可以从服务器下载，在此不作限定。[0103] 在一些实施方式中，上述与非交互内容对应的图标，可与控件关联。其中，图标可直接叠加显示在控件上方。控件可以是按钮控件、输入框控件、列表控件等，可直接显示于的下方位置，可用于控制虚拟扩展内容的显示和取消显示，也可用于控制虚拟扩展内容移动、调整虚拟扩展内容的比例大小，在此不作限定。从而用户可通过对图标进行操作，触发对虚拟扩展内容的显示控制。[0104] 例如，请参见图8，交互装置的交互区域202上显示有选中聊天对象的虚拟聊天页面301，终端设备可以生成带有用户头像的虚拟图标选项列表307，并叠加显示于交互区域的一侧，用户通过在交互区域上的触控操作，选择虚拟图标选项列表的不同图标以切换不同聊天对象的虚拟聊天页面。同时，终端设备可以获取各个用户头像对应的信息，比如个人信息(账号、名称、简介等)，或是历史的聊天内容，生成虚拟扩展内容303，并将虚拟扩展内容303显示与交互区域的外侧，每个聊天对象的个人信息可对应图标进行显示。当用户拖动虚拟图标选项列表时，比如向上滑动时，虚拟图标选项列表的用户头像会相应改变，同时与用户头像对应的虚拟扩展内容303也会相应发生变化。[0105] 同理，当非交互内容为下一级菜单页面时，对应的图标列表中的各个图标件可与下一级菜单页面中的各个菜单项一一对应。在一些实施方式中，存在一些菜单项没有对应的下一级菜单页面，例如，GPS设置只有打开和关闭两种状态的，不存在下一级菜单。终端设备可以在交互区域上显示与该选项对应的图标以及按钮控件，且图标叠加显示于按钮控件上方，使用户可通过交互区域上的触控动作(如点击图标)，实现GPS设置的打开和关闭。[0106] 进一步的，在一些实施方式中，当根据第二内容数据、图标数据以及相对空间位置信息，生成交互画面时，用户可通过对图标进行操作，实现对上述虚拟扩展内容的显示的控制。具体地，上述当交互内容对应的交互画面进行显示时，显示虚拟扩展内容，可以包括：[0107] 将交互画面进行显示；当根据交互区域检测的第三操控动作参数，确定对交互画面中的图标进行操作时，显示与被操作的图标对应的虚拟扩展内容，虚拟扩展内容的第二显示区域与被操作的图标在交互区域外匹配的设定区域对应。[0108] 终端设备在生成包含有图标和上述交互内容的交互画面之后，则可以将交互画面进行显示，使用户可以观看到包含有图标和上述交互内容的交互画面叠加于交互区域中。当根据交互区域检测的第三操控动作参数，确定用户对交互画面中的图标进行操作时，终端设备可以显示与被操作的图标对应的虚拟扩展内容，虚拟扩展内容的第二显示区域与被操作的图标在交互区域外匹配的设定区域对应。从而用户通过在交互区域上对图标进行触控操作，实现对交互区域外的设定区域对应的虚拟扩展内容的显示的控制。在一些实施方式中，对交互画面中的图标进行操作，可包括对图标进行点击、移动等操作，在此不作限定。其中，上述设定区域与图标匹配，可以是根据图标在交互区域中的位置，将设定区域设置在该图标的侧边，从而用户可以快速根据图标找到对应的虚拟扩展内容。例如，请再次参见图6，图标列表205在交互区域中的左侧时，虚拟扩展内容303对应的交互区域外的设定区域也在该图标列表205的左侧。[0109] 在一些实施例中，交互装置包括触控屏时，交互装置可以通过触控屏显示内容，因此，终端设备在交互区域外的设定区域显示虚拟扩展内容时，也可以是交互装置通过触控屏显示上述包含有图标和上述交互内容的交互画面。当交互区域检测到对图标的操作时，交互装置可发送用于指示终端设备控制虚拟扩展内容的控制指令至终端设备，终端设备根据控制指令，可以对虚拟扩展内容进行上述的显示控制。例如，请再次参见图6，手机终端的屏幕上显示无线局域网的菜单页面时，终端设备在智能手机的触控屏外显示虚拟扩展内容303(上一级菜单页面)，同时手机终端的屏幕上可以生成并显示与上一级菜单页面的菜单项一一对应的图标列表205，当用户进行点击选择不同的图标选项时，如点击图标列表205中的WiFi图标，可直接跳转进入图标选项对应的无线局域网菜单页面204。[0110] 在一些实施方式中，也可以是在交互内容对应的交互画面进行显示时，终端设备直接显示虚拟扩展内容，从而实现虚拟扩展内容的自动显示，不需用户手动控制。终端设备在显示虚拟扩展内容后，也可以根据用户在交互区域上对图标的操控动作参数，对虚拟扩展内容进行移动、缩放等显示控制，例如，将图标从交互区域的左侧移至交互区域的右侧时，虚拟扩展内容的第二显示区域可以随图标的移动，从交互区域外的左侧区域移至交互区域外的右侧区域。[0111] 进一步的，由于待显示内容中的非交互内容由终端设备在交互区域外进行显示，因此，交互内容的显示区域可对应于整个交互区域，从而可将交互内容的位置及比例进行适当的优化，例如，在游戏应用中，为了不挡住过多的屏幕空间，操控控件有时会设计得比较小，因此，当在交互区域外将游戏画面中的非交互内容进行显示时，交互区域可以仅显示操控控件，此时的操控控件就可以设计得比较大，方便用户进行点击，提高用户的游戏体验。在一些实施方式中，上述根据第二内容数据、图标数据以及相对空间位置信息，生成交互画面，可以包括：[0112] 从第二内容数据中获取控件数据；根据控件数据确定各个控件在交互画面中的第一排布位置及第一比例大小；根据图标数据确定各个图标在交互画面中的第二排布位置及第二比例大小；根据相对空间位置关系和第一排布位置及第一比例大小、第二排布位置及第二比例大小，生成包含控件及图标的交互画面。[0113] 其中，交互内容中可包括用于控制非交互内容显示的控件，该控件可以是视频“播放”、“暂停”、“进度条”等控件，也可以是游戏界面中的技能控件、位移控件、装备设置控件等，在此不作限定。[0114] 在一些实施方式中，终端设备可以获取交互内容中控件对应的控件数据，根据该控件数据重新确定每个控件在交互画面中的第一排布位置及第一比例大小，根据上述图标数据确定各个图标在交互画面中的第二排布位置及第二比例大小，并可根据相对空间位置关系和第一排布位置及第一比例大小、第二排布位置及第二比例大小，生成包含控件及图标的交互画面。其中，生成包含控件及图标的交互画面的方式可以参阅上述实施例中生成虚拟扩展内容的方式，在此不再赘述。例如，请参见图8，终端设备可以将用于触发显示对应聊天对象的聊天页面的控件，显示在上述生成带有用户头像的虚拟图标选项列表307下，从而用户可通过在交互区域上的触控操作，选择虚拟图标选项列表的不同图标以触发对应的控件，实现切换不同聊天对象的虚拟聊天页面。[0115] 在另一些实施方式中，交互区域包括触控屏时，上述生成包含控件及图标的交互画面也可以由交互装置生成。例如，请再次参见图6，手机终端可以将上一级菜单页面中各个菜单项对应的控件，显示于生成的图标列表205下，该控件与图标一一对应，从而当用户进行点击选择不同的图标选项时，可以直接触发该图标对应的控件，实现对应的功能，例如，点击图标列表205中的WiFi图标，可直接触发对应控件以跳转进入对应的无线局域网菜单页面204。又例如，请参见图7，在游戏应用中，终端设备将虚拟游戏画面304以3D的方式显示在智能手机屏幕的上侧，虚拟背包内容305、虚拟地图内容306等查看的内容显示在屏幕的左、右侧时，手机终端可通过触控屏将对应的操作控件(包括用于触发虚拟背包内容305显示的背包控件以及用户触发虚拟地图内容306显示的地图控件)进行显示，方便用户进行点击，提高用户的游戏体验。[0116] 进一步的，当生成包含控件及图标的交互画面时，在显示虚拟扩展内容之后，还包括：[0117] 当根据交互区域检测到的第四操控动作参数，确定对交互画面中的控件进行操作时，根据被操作的控件生成控制指令，并根据控制指令控制虚拟扩展内容中的虚拟对象。[0118] 在一些实施例中，其中内容中的控件可与非交互内容具有对应关系。例如，游戏界面中的非交互内容为游戏画面，控件为位移控件，用户可通过操控位移控件，实现游戏画面的切换。因此，当根据非交互内容生成虚拟扩展内容时，终端设备可根据交互区域检测到的操控动作参数，控制虚拟扩展内容。具体地，当根据交互区域检测到的第四操控动作参数，确定对交互画面中的控件进行操作时，终端设备可根据被操作的控件生成控制指令，并根据控制指令控制虚拟扩展内容中的虚拟对象，从而实现交互装置与终端设备之间的交互。例如，请再次参见图7，终端设备可根据用户在智能手机屏幕上对位移控件的操控，实时切换虚拟游戏画面304的内容显示。[0119] 进一步的，终端设备对虚拟扩展内容进行显示时，可以进行显示区域的优先级排序，例如，可以按照虚拟扩展内容的显示触发时间的前后进行优先级从低到高的排序，即越早触发显示的虚拟扩展内容，优先级越低。作为一种实施方式，终端设备可将优先级高的虚拟扩展内容显示于交互区域的上侧，优先级低的虚拟扩展内容显示于交互区域的左右侧。[0120] 在一些实施方式中，终端设备可以对虚拟扩展内容的显示顺序进行存储，以在退出当前虚拟扩展内容的显示时，可以自动将当前虚拟扩展内容的前一虚拟扩展内容进行显示。作为一种实施方式，也可以在交互区域上显示多个虚拟扩展内容的进度条，用户通过滑动进度条，进行之前显示的多个虚拟扩展内容之间的切换。[0121] 本申请实施例提供的虚拟内容的显示方法，通过获取待显示内容中非交互内容对应的第一内容数据，然后获取交互装置与终端设备之间的相对空间位置信息，获取设定区域与交互装置之间的第一相对位置关系，设定区域为虚拟扩展内容进行显示时在真实环境中对应的叠加区域，以根据相对空间位置信息以及第一相对位置关系，获取设定区域与终端设备之间的第二相对位置关系，从而可根据第二相对位置关系以及第一内容数据，生成虚拟扩展内容，当交互内容对应的交互画面进行显示时，显示虚拟扩展内容，从而实现根据交互装置的空间位置，在虚拟空间中将待显示内容中非交互内容对应的虚拟扩展内容进行显示，使用户可以看到非交互内容对应的虚拟扩展内容显示于交互区域外的效果，显示的交互内容则与交互区域对应，扩大了显示内容的显示空间，提升了显示效果，且更有利于用户与显示内容进行交互。[0122] 请参阅图9，其示出了本申请实施例提供的一种虚拟内容的显示装置500的结构框图，应用于终端设备，终端设备与交互装置通信连接，交互装置包括交互区域。该装置可以包括：内容获取模块510、数据获取模块520、位置获取模块530、内容生成模块540以及显示控制模块550。其中，内容获取模块510用于获取待显示内容，待显示内容包含非交互内容及交互内容；数据获取模块520用于获取非交互内容对应的第一内容数据；位置获取模块530用于获取交互装置与终端设备之间的相对空间位置信息；内容生成模块540用于根据相对空间位置信息以及第一内容数据，生成虚拟扩展内容；显示控制模块550用于当交互内容对应的交互画面进行显示时，显示虚拟扩展内容，交互画面的第一显示区域与交互区域对应，虚拟扩展内容的第二显示区域与交互区域外的设定区域对应。[0123] 在一些实施例中，内容生成模块540可以具体用于：获取设定区域与交互装置之间的第一相对位置关系，设定区域为虚拟扩展内容进行显示时在真实环境中对应的叠加区域；根据相对空间位置信息以及第一相对位置关系，获取设定区域与终端设备之间的第二相对位置关系；根据第二相对位置关系以及第一内容数据，生成虚拟扩展内容。[0124] 进一步的，内容生成模块540获取设定区域与交互装置之间的第一相对位置关系，可以包括：根据交互装置的非握持区域，确定交互区域外与非握持区域对应的设定区域，并获取设定区域与交互装置之间的第一相对位置关系，非握持区域为交互装置的边缘区域中未被握持的区域；或者根据交互区域检测到的第一操控动作参数，确定交互区域外与第二操控动作对应的设定区域，并获取设定区域与交互装置的第一相对位置关系；或者读取预先存储的交互区域外的设定区域与交互装置的第一相对位置关系。[0125] 进一步的，内容生成模块540根据交互装置的非握持区域，确定交互区域外与非握持区域对应的设定区域，并获取设定区域与交互装置之间的第一相对位置关系，非握持区域为交互装置的边缘区域中未被握持的区域，可以包括：当检测到交互装置处于被握持状态时，采集手势图像；根据手势图像，确定交互装置的非握持区域；获取交互区域外与非握持区域对应的设定区域，并获取设定区域与交互装置之间的第一相对位置关系。[0126] 在一些实施例中，上述待显示内容包括多个菜单页面，数据获取模块520可以具体用于：根据多个菜单页面，获取第一菜单页面对应的第二菜单页面的第一数据，并将第一数据作为非交互内容对应的第一内容数据，其中，第二菜单页面为第一菜单页面的上一级菜单页面或者下一级菜单页面。显示控制模块550可以具体用于：当第一菜单页面对应的交互画面进行显示时，显示虚拟扩展内容，虚拟扩展内容包括第二菜单页面。[0127] 进一步的，上述第二菜单页面为第一菜单页面的下一级菜单页面，该虚拟内容的显示装置500还可以包括：内容切换模块。该内容切换模块用于根据交互区域检测到的第二操控动作参数，确定第一菜单页面中处于选中状态的菜单项，并获取与处于选中状态的菜单项对应的新的下一级菜单页面的第二数据；根据相对空间位置信息以及第二数据，生成新的虚拟扩展内容；将当前显示的虚拟扩展内容切换为新的虚拟扩展内容，新虚拟扩展内容包括新的下一级菜单页面。[0128] 在一些实施例中，交互区域包括触控屏，内容获取模块510可以具体用于：发送数据请求至交互装置，数据请求用于指示交互装置获取触控屏待显示内容；接收交互装置发送的待显示内容。[0129] 在一些实施例中，该虚拟内容的显示装置500还可以包括：画面生成模块。该画面生成模块用于获取交互内容对应的第二内容数据；获取与非交互内容对应的图标数据；根据第二内容数据、图标数据以及相对空间位置信息，生成交互画面。显示控制模块550可以具体用于：将交互画面进行显示；当根据交互区域检测的第三操控动作参数，确定对交互画面中的图标进行操作时，显示与被操作的图标对应的虚拟扩展内容，虚拟扩展内容的第二显示区域与被操作的图标在交互区域外匹配的设定区域对应。[0130] 在一些实施例中，上述画面生成模块根据第二内容数据、图标数据以及相对空间位置信息，生成交互画面，可以包括：从第二内容数据中获取控件数据；根据控件数据确定各个控件在交互画面中的第一排布位置及第一比例大小；根据图标数据确定各个图标在交互画面中的第二排布位置及第二比例大小；根据相对空间位置关系和第一排布位置及第一比例大小、第二排布位置及第二比例大小，生成包含控件及图标的交互画面。该虚拟内容的显示装置500还可以包括：内容控制模块。该内容控制模块用于当根据交互区域检测到的第四操控动作参数，确定对交互画面中的控件进行操作时，根据被操作的控件生成控制指令，并根据控制指令控制虚拟扩展内容中的虚拟对象。[0131] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。[0132] 在本申请所提供的几个实施例中，所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。[0133] 另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。[0134] 综上所述，本申请实施例提供的一种虚拟内容的显示装置，终端设备通过获取待显示内容，该待显示内容包含非交互内容及交互内容，然后获取非交互内容对应的第一内容数据，获取交互装置与终端设备之间的相对空间位置信息，以根据相对空间位置信息以及第一内容数据，生成虚拟扩展内容，当交互内容对应的交互画面进行显示时，显示虚拟扩展内容，交互画面的第一显示区域与交互装置的交互区域对应，虚拟扩展内容的第二显示区域与交互区域外的设定区域对应，从而实现根据交互装置的空间位置，在虚拟空间中将待显示内容中非交互内容对应的虚拟扩展内容进行显示，使用户可以看到虚拟扩展内容显示于交互区域外的效果，显示的交互内容则与交互区域对应，扩大了显示内容的显示空间，提升了显示效果，且更有利于用户与显示内容进行交互。[0135] 请再次参阅图1，本申请实施例提供了一种虚拟内容的显示系统10，系统包括终端设备100以及交互装置200，终端设备100与交互装置200连接，交互装置200包括交互区域202，其中：[0136] 交互装置200用于根据交互区域202待显示内容，获取待显示内容中非交互内容对应的第一内容数据，待显示内容包含非交互内容及交互内容，将第一内容数据发送至终端设备100，并控制交互区域202显示交互内容对应的交互画面；[0137] 终端设备100用于获取交互装置200与终端设备100之间的相对空间位置信息，接收第一内容数据，根据相对空间位置信息以及第一内容数据，生成虚拟扩展内容，并显示虚拟扩展内容，虚拟扩展内容的显示区域与交互区域202外的设定区域对应。[0138] 在一些实施方式中，上述实施例中的终端设备100可以外接式/接入式的头戴显示装置，头戴显示装置与交互装置连接。其中，头戴显示装置可以仅完成虚拟扩展内容等交互虚拟内容的显示，以及标记物图像的采集，上述关于对虚拟扩展内容的显示、控制等所有的处理操作，均可由交互装置200完成，交互装置200在生成虚拟扩展内容后，将虚拟扩展内容对应的显示画面传输至头戴显示装置，即可完成虚拟扩展内容的显示。[0139] 请参考图10，其示出了本申请实施例提供的一种终端设备的结构框图。该终端设备100可以是智能手机、平板电脑、头戴显示装置等能够运行应用程序的终端设备。本申请中的终端设备100可以包括一个或多个如下部件：处理器110、存储器120、图像传感器130以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。[0140] 处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个终端设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行终端设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(DigitalSignalProcessing，DSP)、现场可编程门阵列(Field－ProgrammableGateArray，FPGA)、可编程逻辑阵列(ProgrammableLogicArray，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessingUnit，CPU)、图像处理器(GraphicsProcessingUnit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。[0141] 存储器120可以包括随机存储器(RandomAccessMemory，RAM)，也可以包括只读存储器(Read‑OnlyMemory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端设备100在使用中所创建的数据等。[0142] 在本申请实施例中，图像传感器130用于采集现实物体的图像以及采集目标场景的场景图像。图像传感器130可以为红外相机，也可以是可见光相机，具体类型在本申请实施例中并不作为限定。[0143] 在一个实施例中，终端设备为头戴显示装置，除了包括上述的处理器、存储器及图像传感器外，还可包括如下一个或多个部件：显示模组、光学模组、通信模块以及电源。[0144] 显示模组可包括显示控制单元。显示控制单元用于接收处理器渲染后的虚拟内容的显示图像，然后将该显示图像显示并投射至光学模组上，使用户能够通过光学模组观看到虚拟内容。其中，显示装置可以是显示屏或投射装置等，可用于显示图像。[0145] 光学模组可采用离轴光学系统或波导光学系统，显示装置显示的显示图像经光学模组后，能够被投射至用户的眼睛。用户在通过光学模组看到显示装置投射的显示图像的同时。在一些实施方式中，用户还能够透过光学模组观察到现实环境，感受虚拟内容与现实环境叠加后的增强现实效果。[0146] 通信模块可以是蓝牙、WiFi(Wireless‑Fidelity，无线保真)、ZigBee(紫峰技术)等模块，头戴显示装置可通过通信模块与终端设备建立通信连接。与终端设备通信连接的头戴显示装置，可以与终端设备进行信息以及指令的交互。例如，头戴显示装置可以通过通信模块接收终端设备的发送的图像数据，根据所接收的图像数据生成虚拟世界的虚拟内容进行显示。[0147] 电源可为整个头戴显示装置进行供电，保证头戴显示装置各个部件的正常运行。[0148] 请参见图11，其示出了本申请实施例提供的一种交互装置的结构框图。该交互装置200可以为智能手机、平板电脑等具有交互区域的电子设备，该交互区域可以包括触控板或者触控屏。交互装置200可以包括一个或多个如下部件：处理器210、存储器220以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器220中并被配置为由一个或多个处理器210执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。[0149] 请参考图12，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质800中存储有程序代码，程序代码可被处理器调用执行上述方法实施例中所描述的方法。[0150] 该计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读介质(non‑transitorycomputer‑readablestoragemedium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。[0151] 最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

专利地区：广东

专利申请日期：2019-05-07

专利公开日期：2024-07-26

专利公告号：CN111913674B