远程控制方法、装置、电子设备及存储介质实用新型专利

专利名称：远程控制方法、装置、电子设备及存储介质

专利类型：实用新型专利

专利申请号：CN202110939100.0

专利申请（专利权）人：维沃移动通信有限公司
权利人地址：广东省东莞市长安镇维沃路1号

专利发明（设计）人：黄卫兵

专利摘要：本申请公开了提供一种远程控制方法、装置、电子设备及存储介质，属于通信技术领域。该方法包括：在第一终端与第二终端建立连接的情况下，获取第一终端生成的第一控制指令数据集，其中，所述第一控制指令数据集包括第一控制指令、第一控制指令坐标和第一灰度区域，所述第一灰度区域是基于所述第一终端显示的第一页面中的第一控制指令坐标确定的；基于所述第一控制指令数据集中的第一控制指令坐标，在所述第二终端显示的第二界面中确定第二灰度区域；基于所述第一灰度区域和所述第二灰度区域的相关性系数，处理所述第一控制指令。

主权利要求：
1.一种远程控制方法，其特征在于，包括：
在第一终端与第二终端建立连接的情况下，获取第一终端生成的第一控制指令数据集，其中，所述第一控制指令数据集包括第一控制指令、第一控制指令坐标和第一灰度区域，所述第一灰度区域是基于所述第一终端显示的第一页面中的第一控制指令坐标确定的；其中，所述第一灰度区域是在所述第一页面中，以第一控制指令坐标为中心，获取预设区域内像素点的灰度子集所组成的区域；
基于所述第一控制指令数据集中的第一控制指令坐标，在所述第二终端显示的第二页面中确定第二灰度区域；其中，所述第二灰度区域是在所述第二页面中，以第一控制指令坐标为中心，获取预设区域内像素点的灰度子集所组成的区域；
基于所述第一灰度区域和所述第二灰度区域的相关性系数，处理所述第一控制指令；
其中，所述基于所述第一灰度区域和所述第二灰度区域的相关性系数，处理所述第一控制指令，包括：在所述相关性系数大于第一预设阈值的情况下，执行所述第一控制指令；
或，在所述相关性系数小于或等于所述第一预设阈值的情况下，丢弃所述第一控制指令。
2.根据权利要求1所述的远程控制方法，其特征在于，在所述第一控制指令数据集还包括第一控制指令时间信息的情况下，所述处理所述第一控制指令，包括：获取第二终端的第二控制指令记录信息，其中，所述第二控制指令记录信息包括第二控制指令、第二控制指令坐标和第二控制指令时间信息；
在所述第二控制指令和所述第一控制指令属于同一类型的控制指令，且第二控制指令坐标与第一控制指令坐标之间的差值小于坐标阈值的情况下，获取所述第二控制指令时间信息与所述第一控制指令时间信息之间的时间差值；
基于所述时间差值，确定所述第一控制指令的执行方案，根据所述执行方案执行所述第一控制指令。
3.根据权利要求2所述的远程控制方法，其特征在于，所述基于所述时间差值，确定所述第一控制指令的执行方案，根据所述执行方案执行所述第一控制指令，包括：在所述时间差值小于第二预设阈值的情况下，确定所述第一控制指令的丢弃方案，丢弃所述第一控制指令；
在所述时间差值大于或等于第二预设阈值的情况下，确定所述第一控制指令的运行方案，运行所述第一控制指令。
4.一种远程控制装置，其特征在于，包括：
获取模块，用于在第一终端与第二终端建立连接的情况下，获取第一终端生成的第一控制指令数据集，其中，所述第一控制指令数据集包括第一控制指令、第一控制指令坐标和第一灰度区域，所述第一灰度区域是基于所述第一终端显示的第一页面中的第一控制指令坐标确定的；其中，所述第一灰度区域是在所述第一页面中，以第一控制指令坐标为中心，获取预设区域内像素点的灰度子集所组成的区域；
确定模块，用于基于所述第一控制指令数据集中的第一控制指令坐标，在所述第二终端显示的第二页面中确定第二灰度区域；其中，所述第二灰度区域是在所述第二页面中，以第一控制指令坐标为中心，获取预设区域内像素点的灰度子集所组成的区域；
处理模块，用于基于所述第一灰度区域和所述第二灰度区域的相关性系数，处理所述第一控制指令；
其中，所述处理模块，具体用于：
在所述相关性系数大于第一预设阈值的情况下，执行所述第一控制指令；
或，在所述相关性系数小于或等于所述第一预设阈值的情况下，丢弃所述第一控制指令。
5.根据权利要求4所述的远程控制装置，其特征在于，在所述第一控制指令数据集还包括第一控制指令时间信息的情况下，所述处理模块，具体用于：获取第二终端的第二控制指令记录信息，其中，所述第二控制指令记录信息包括第二控制指令、第二控制指令坐标和第二控制指令时间信息；
在所述第二控制指令和所述第一控制指令属于同一类型的控制指令，且第二控制指令坐标与第一控制指令坐标之间的差值小于坐标阈值的情况下，获取所述第二控制指令时间信息与所述第一控制指令时间信息之间的时间差值；
基于所述时间差值，确定所述第一控制指令的执行方案，根据所述执行方案执行所述第一控制指令。
6.根据权利要求5所述的远程控制装置，其特征在于，所述处理模块，具体用于：在所述时间差值小于第二预设阈值的情况下，确定所述第一控制指令的丢弃方案，丢弃所述第一控制指令；
在所述时间差值大于或等于第二预设阈值的情况下，确定所述第一控制指令的运行方案，运行所述第一控制指令。
7.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如权利要求1‑3任一项所述的远程控制方法的步骤。
8.一种可读存储介质，其特征在于，所述可读存储介质上存储程序，所述程序被处理器执行时实现如权利要求1‑3任一项所述的远程控制方法的步骤。 说明书 : 远程控制方法、装置、电子设备及存储介质技术领域[0001] 本申请属于通信技术领域，具体涉及一种远程控制方法、装置、电子设备及存储介质。背景技术[0002] 随着通信技术的不断发展，互联网已经渐渐融入人们的日常生活和工作学习中。[0003] 远程协助是互联网的一个终端远距离去协助控制另一个终端的技术，协助方和被协助方建立连接后，被协助方的终端界面会传输给到协助方。然后协助方操作被协助方时，指令需要从协助方传输到被协助方，指令到达后在被协助方手机上进行指令的执行，而远程协助协助过程中很可能会出现指令不能被正常执行的情况。[0004] 因此，如何更好的实现远程控制方法已经成为业界亟待解决的问题。发明内容[0005] 本申请实施例的目的是提供一种远程控制方法、装置、电子设备及存储介质，能够解决更好实现远程控制的问题。[0006] 第一方面，本申请实施例提供了一种远程控制方法，该方法包括：[0007] 在第一终端与第二终端建立连接的情况下，获取第一终端生成的第一控制指令数据集，其中，所述第一控制指令数据集包括第一控制指令、第一控制指令坐标和第一灰度区域，所述第一灰度区域是基于所述第一终端显示的第一页面中的第一控制指令坐标确定的；[0008] 基于所述第一控制指令数据集中的第一控制指令坐标，在所述第二终端显示的第二界面中确定第二灰度区域；[0009] 基于所述第一灰度区域和所述第二灰度区域的相关性系数，处理所述第一控制指令。[0010] 第二方面，本申请实施例提供了一种远程控制装置，包括：[0011] 获取模块，用于在第一终端与第二终端建立连接的情况下，获取第一终端生成的第一控制指令数据集，其中，所述第一控制指令数据集包括第一控制指令、第一控制指令坐标和第一灰度区域，所述第一灰度区域是基于所述第一终端显示的第一页面中的第一控制指令坐标确定的；[0012] 确定模块，用于基于所述第一控制指令数据集中的第一控制指令坐标，在所述第二终端显示的第二界面中确定第二灰度区域；[0013] 处理模块，用于基于所述第一灰度区域和所述第二灰度区域的相关性系数，处理所述第一控制指令。[0014] 第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。[0015] 第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。[0016] 第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。[0017] 在本申请实施例中，协助方的第一终端发送控制指令时，会在控制指令数据集中写入第一灰度区域的信息，第一灰度区域是第一页面中的第一控制指令坐标周围的灰度子集，而被控制的第二终端在收到第一控制指令数据集时，并不立刻执行第一控制指令，而是先确定其在第二页面中第一控制指令坐标周围的第二灰度区域后，将第一灰度区域和第二灰度区域进行相关性比较，然后再决定是否执行第一控制指令，可以有效避免在第一控制指令达到第二终端后，第二终端的第二页面已经发生变化，而导致第一指令错误的情况，有效提高了远程控制的可靠性。附图说明[0018] 图1为本申请实施例提供的远程控制方法流程示意图；[0019] 图2为本申请实施例提供的远程控制流程图之一；[0020] 图3为本申请实施例提供的远程控制流程图之二；[0021] 图4为本申请实施例中提供的远程控制结构示意图；[0022] 图5为本申请实施例通过的电子设备结构示意图；[0023] 图6为实现本申请实施例的一种电子设备的硬件结构示意图。具体实施方式[0024] 下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。[0025] 本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。[0026] 下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的远程控制方法、装置、电子设备及存储介质进行详细地说明。[0027] 图1为本申请实施例提供的远程控制方法流程示意图，如图1所示，包括：[0028] 步骤110，在第一终端与第二终端建立连接的情况下，获取第一终端生成的第一控制指令数据集，其中，所述第一控制指令数据集包括第一控制指令、第一控制指令坐标和第一灰度区域，所述第一灰度区域是基于所述第一终端显示的第一页面中的第一控制指令坐标确定的；[0029] 具体地，本申请实施例中所描述的第一终端具体可以是指远程协助中的协助方，其可以是手机、平板电脑等移动终端，也可以是电脑等非移动终端。[0030] 本申请中所描述的第二终端具体可以是远程协助中的被协助方，其手机、平板电脑等移动终端，也可以是电脑等非移动终端，第一终端和第二终端可以是同一类型的终端设备，也可以是不同类型的终端设备。[0031] 在本申请实施例中第一终端与第二终端建立连接，即说明第一终端和第二终端之间已经通过网络实现了远程控制，第二终端的第二界面通过视频流传输到第一终端，此时第一终端可以通过第一界面看到第二终端的界面，此时用户可以通过第一终端来远程控制第二终端，从而实现远程协助的目的。[0032] 而第一终端若想要控制第二终端，则第一终端需要向第二终端发送控制指令，此时第二终端会获取第一终端生成的第一控制数据集。[0033] 本申请中所描述的第一控制指令可以是指第一终端向第二终端发送远程控制指令，其具体可以是指点击指令、滑动指令或者长按指令等，且针对于滑动指令，在本申请实施例的方案中可以将一个滑动指令分解为多个子滑动指令，具体的分解方式根据第一终端和第二终端同步的频率来确定。[0034] 本申请中所描述的第一控制指令坐标，是第一控制指令落在第一页面中的位置，其具体可以表现为第一页面中的像素坐标，针对于滑动指令，第一控制指令坐标，可以是由一系列像素坐标组成的像素坐标集。[0035] 本申请实施例中所描述的第一灰度区域是在第一页面中，以第一像素坐标为中心，获取的预设区域范围内的像素点的灰度子集，即该区域内像素值的数组；例如以第一像素坐标为中心，获取一个上下各位20个像素为边长的正方形像素区域，获取该像素区域的灰度子集，得到第一灰度区域。[0036] 在本申请实施例中，通过第一灰度区域可以确定部分和第一指令相关的界面显示信息，并将其发送到第二终端，使得第二终端可以核实第二界面是否发生较大变化。[0037] 步骤120，基于所述第一控制指令数据集中的第一控制指令坐标，在所述第二终端显示的第二界面中确定第二灰度区域；[0038] 具体地，本申请中所描述的第二终端显示的第二界面在理论情况下，应该是与第一界面一致的，但是因为第二终端除了接收第一终端的远程控制指令外，还可能接受来自用户或其它终端的控制指令，因此该第二界面也可能会和第一界面不一样。[0039] 而本申请实施例中确定第二灰度区域，具体是在第二界面中，以第一像素坐标为中心，获取的预设区域范围内的像素点的灰度子集，此处的预设区域范围和生成第一灰度区域的预设区域范围相同。[0040] 若第一界面和第二界面相同，则理论上此处的第一灰度区域和第二灰度区域也一致，而若第一界面和第二界面不同，则此时第一灰度区域和第二灰度区域可能差异较大，而为了更好的将界面比较和控制指令挂钩，因此比较区域仍以第一控制指令坐标来选取。[0041] 步骤130，基于所述第一灰度区域和所述第二灰度区域的相关性系数，处理所述第一控制指令。[0042] 本申请实施例中所描述的相关性系数，可以是比较第一灰度区域内像素值的数组和所述第二灰度区域内像素值的数组之间的重复比例从而确定的，其具体可以是通过立体匹配算法来实现。[0043] 而因为第一控制指令发送到第二终端会存在一定时延，此时可能存在第二终端的第二界面发生变化后，才收到第一控制指令，此时执行第一控制执行指令，很会导致指令执行错误。[0044] 因此，在本申请实施例中，可以根据该相关性系数来决定是否正常执行第一控制指令，可以有效避免指令执行错误的情况发送。[0045] 在本申请实施例中，协助方的第一终端发送控制指令时，会在控制指令数据集中写入第一灰度区域的信息，第一灰度区域是第一页面中的第一控制指令坐标周围的灰度子集，而被控制的第二终端在收到第一控制指令数据集时，并不立刻执行第一控制指令，而是先确定其在第二页面中第一控制指令坐标周围的第二灰度区域后，将第一灰度区域和第二灰度区域进行相关性比较，然后再决定是否执行第一控制指令，可以有效避免在第一控制指令达到第二终端后，第二终端的第二页面已经发生变化，而导致第一指令错误的情况，有效提高了远程控制的可靠性。[0046] 可选地，所述基于所述第一灰度区域和所述第二灰度区域的相关性系数，处理所述第一控制指令，包括：[0047] 在所述相关性系数大于第一预设阈值的情况下，执行所述第一控制指令；[0048] 或，在所述相关性系数小于或等于所述第一预设阈值的情况下，丢弃所述第一控制指令。[0049] 具体地，本申请实施例中所描述的第一预设阈值可以是预先设定的相关系系数数值，例如0.6或0.7等。[0050] 在所述相关性系数大于第一预设阈值的情况下，则说明第一灰度区域和第二灰度区域的相似度较高，此时说明第二界面未发生变化，第一控制指令能够正常实现控制，此时考虑正常执行第一控制指令。[0051] 在所述相关性系数小于或等于第一预设阈值的情况下，则说明第一灰度区域和第二灰度区域的相似度较低，此时说明第二界面很可能发生变化，若继续执行第一控制指令，则可能会出现错误指令的情况，此时第二终端会丢弃该第一控制指令。[0052] 更具体地，在第一控制指令被丢弃后，第二终端还会发送一个指令被丢弃的数据包给到第一终端，让第一终端能够知道该指令被丢弃。[0053] 本发明实施通过获取第一终端的第一灰度区域和第二终端的第二灰度区域，并进行相关性比较从而判断第一控制指令是否为错误指令，从而避免了错误指令的执行，相比现有的远程协助软件，有效的解决了错误指令被执行的可能。[0054] 可选地，在所述第一控制指令数据集还包括第一控制指令时间信息的情况下，所述处理所述第一控制指令，包括：[0055] 获取第二终端的第二控制指令记录信息，其中，所述第二控制指令记录信息包括第二控制指令、第二控制指令坐标和第二控制指令时间信息；[0056] 在所述第二控制指令和所述第一控制指令属于同一类型的控制指令，且第二控制指令坐标与第一控制指令坐标之间的差值小于坐标阈值的情况下，获取所述第二控制指令时间信息与所述第一控制指令时间信息之间的时间差值；[0057] 基于所述时间差值，确定所述第一控制指令的执行方案，根据所述执行方案执行所述第一控制指令。[0058] 具体地，由于被协助控制的第二终端，也会在远程协助过程中接收到用户针对于第二终端的第二控制指令，为了保证用户体验，该第二终端会立刻执行该第二控制指令，并将执行的第二控制指令记录下来，具体会记录第二控制指令的类别，第二控制指令的坐标和第二控制指令执行的时间，生成第二控制指令记录信息。[0059] 本申请中所描述的第二控制指令具体可以是指点击指令、滑动指令或者长按指令等。[0060] 本申请中所描述的第二控制指令坐标，是第二控制指令落在第二页面中的位置，其具体可以表现为第二页面中的像素坐标。[0061] 本申请中所描述的第一控制指令时间信息是指第一控制指令到达第二终端的时间。[0062] 本申请中所描述的第二控制指令时间信息是第二终端接收到第二控制指令的时间。[0063] 本申请实施例中第二控制指令和第一控制指令属于同一类型的控制指令，例如可以是第二控制指令和第一控制指令都属于点击指令，或者都属于滑动指令。[0064] 在第二控制指令和第一控制指令属于同一类型的控制指令时，且第二控制指令坐标与第一控制指令坐标之间距离较近时则可能会存在指令冲突风险，因此需要进一步判断这两个指令在时间上的关系。[0065] 获取继续获取所述第二控制指令时间信息与所述第一控制指令时间信息之间的时间差值，其具体可以是将第二控制指令时间信息与所述第一控制指令时间信息进行求差，得到时间差值。[0066] 本申请实施例中的时间差值说明了这两个控制指令执行的时间间隔，若两个控制指令执行的时间间隔较长，则说明不会存在指令冲突风险，若这两个控制指令相同，且执行的时间间隔较短，则说明这两个控制指令存在指令冲突的风险。[0067] 本申请实施例中的第二控制指令坐标与第一控制指令坐标之间的差值，说明了这两个指令之间的位置差距，若两个控制指令之间的距离相差较远，则说明不会存在指令冲突风险，若这两个控制指令之间的距离较近，则说明这两个控制指令存在指令冲突的风险。[0068] 因此在本申请实施例中可以根据时间差值来确定第一控制指令的执行方案，根据所述执行方案执行所述第一控制指令。[0069] 在本申请实施例中，充分考虑第二终端指接收的第二控制指令可能和第一控制指令冲突的情况，通过比较第一控制指令和第二控制指令的类型和位置，以及第二控制指令时间信息和第一控制指令时间信息之间的差值，确定第一控制指令的执行方案，有效避免了指令冲突的情况。[0070] 可选地，所述基于所述时间差值，确定所述第一控制指令的执行方案，根据所述执行方案执行所述第一控制指令，包括：[0071] 在所述时间差值小于第二预设阈值的情况下，确定所述第一控制指令的丢弃方案，丢弃所述第一控制指令；[0072] 在所述时间差值大于或等于第二预设阈值的情况下，确定所述第一控制指令的运行方案，运行所述第一控制指令。[0073] 具体地，本申请实施例中所描述的第二预设阈值是设定的关于时间差的阈值，具体可以是1秒或者0.5秒。[0074] 在本申请实施例中，差值大于或等于第二预设阈值的情况下，则说明第二终端指接收的第二控制指令和第一控制指令可能不会冲突，因此此时第二终端正常执行第一控制指令。[0075] 在差值小于第二预设阈值的情况下，则说明第二终端指接收的第二控制指令可能和第一控制指令冲突，此时应该丢弃第一控制指令，并且第二终端会向第一终端发送提示信息，提示第一控制指令因与第二控制指令冲突，而被丢弃，这时第一终端的用户可以通过语音提醒或其它方式告知第二终端的用户暂时不要操作。[0076] 在本申请实施例中，通过时间差值和第二预设阈值的比较，来判断是否运行第一控制指令，还是丢弃控制指令，能够有效避免重复错误指令的执行，保证远程操作的有效性。[0077] 可选地，图2为本申请实施例提供的远程控制流程图之一，如图2所示，包括：步骤210，协助方终端与被协助方终端建立起远程协助连接，通过被协助方请求协助方的方式，协助方终端接受请求后双方建立起连接。被协助方终端界面通过视频流传输到协助方。此时协助方可以在自己终端上看到被协助方的界面。协助方可以操作被协助方的手机，达到远程协助的目的。[0078] 步骤220，协助方终端对被协助方终端发起操作，在连接建立后，协助方终端就可以操作被协助方终端，比如左右滑动切换桌面，上下滑动滚动页面，单次点击按钮，或者长按等等操作。[0079] 步骤230，在协助方用户操作时以操作点为中心获取灰度子集；[0080] 当协助方在操作时，以点击某个按钮来举例。这时获取到操作点的坐标，并以坐标点为中心，获取一个上下各为20像素即边长为40像素的正方形区域的灰度子集。[0081] 步骤240，把指令、指令坐标点灰度子集、操作时间戳等封装为数据包，并传输给到被协助方终端。[0082] 数据包结构可以为json,{“指令”：“touch”,“指令坐标”：“x:100,y:200”“,灰度子集”:“[[1,0,1],[0,0,1]]”,“时间戳”：“1626676220562”}。把数据包通过websocket传输给到被协助方。[0083] 步骤250，被协助方终端对数据包进行解析，并根据指令坐标获取当前界面灰度子集。[0084] 被协助方在收到数据包后，按发送格式解析得到json数据。获取到指令坐标，然后按步骤230的方式获取以坐标点为中心，边长为40的区域的灰度子集。[0085] 步骤260，采用立体匹配算法对比步骤230及步骤250获取到的灰度子集，以对比结果超过设定的相关系数与否分别进入步骤270或者步骤280。[0086] 步骤270，放弃指令执行，并给协助方终端发一个反馈消息。[0087] 当检测到灰度子集的相关性系数低于设定值，判定指令为错误指令，则指令被丢弃。此时被协助方终端发送一个指令被丢弃的数据包给到协助方，让协助方能知道指令被丢弃。[0088] 步骤280、执行指令，操作执行完毕。[0089] 当检测到灰度子集相关性系统大于或者等于设定值，指令为有效指令，则在被协助方终端上进行指令执行。本次远程协助指令执行完毕。[0090] 图3为本申请实施例提供的远程控制流程图之二，如图3所示，包括：[0091] 步骤310，协助方终端与被协助方终端建立起远程协助连接；[0092] 步骤320，协助方终端对被协助方终端发起操作，在连接建立后，协助方终端就可以操作被协助方终端，比如左右滑动切换桌面，上下滑动滚动页面，单次点击按钮，或者长按等等操作。[0093] 步骤330，记录协助方终端的操作指令的类型、坐标、操作时间戳等并组装为数据包，协助方用户输入操作指令时，记录操作指令的名称、类型(比如为单击、长铵、拖拽、长按拖动等)、指令坐标、操作时间戳等，并把数据组装为json格式的数据包。数据包格式为{“指令名称”：“touch”,“指令坐标”：“x:100,y:200”,“指令类型”:“touch”,“时间戳”：“1626676220562”}。[0094] 步骤340，指令数据包到达被协助方时，对于1s内的指令进行排序及去重，这是由于通信传输过程中，可能导致指令数据包不是按照时序传送过来，因此协助方的指令到达被协助方后，先不立即执行。把1s内到达的指令按指令操作的时间戳进行排序，并把重复的指令进行去重，得到一个指令集合s1。[0095] 步骤350，记录被协助方用户自己操作的指令，同样记录指令的类型、坐标、操作时间戳，按照步骤330的方式记录，记录被协助方自己操作的指令，并记录为集合s2。被协助方的指令会得到立即执行，但可以获取并记录下来。[0096] 步骤360，把协助方指令与被协助方指令按类型，以及指令坐标进行分组，[0097] 对于步骤340及步骤350中的指令集s1,s2按指令类型及坐标进行分类形成新的集合s3，对于s2的指令标记为已执行，而s1的标记为待执行，获取s1和s2的交集。[0098] 步骤370，丢弃与被协助方相同的指令。[0099] 对于分类后s3中的指令判断在s2中是否已经包含，对于包含的指令则丢弃得到一个与被协助方无冲突的指令集合s4。[0100] 步骤380，顺序执行重排、去重及与去掉被协助方冲突后的指令。[0101] 对于步骤370中得到的集合s4,在被协助手机上顺序执行。[0102] 需要说明的是，本申请实施例提供的远程控制方法，执行主体可以为远程控制装置，或者该远程控制装置中的用于执行远程控制方法的控制模块。本申请实施例中以远程控制装置执行远程控制的方法为例，说明本申请实施例提供的远程控制的装置。[0103] 图4为本申请实施例中提供的远程控制结构示意图，如图4所示，包括：[0104] 其中，获取模块410用于在第一终端与第二终端建立连接的情况下，获取第一终端生成的第一控制指令数据集，其中，所述第一控制指令数据集包括第一控制指令、第一控制指令坐标和第一灰度区域，所述第一灰度区域是基于所述第一终端显示的第一页面中的第一控制指令坐标确定的；[0105] 其中，确定模块420用于基于所述第一控制指令数据集中的第一控制指令坐标，在所述第二终端显示的第二界面中确定第二灰度区域；[0106] 其中，处理模块430用于基于所述第一灰度区域和所述第二灰度区域的相关性系数，处理所述第一控制指令。[0107] 可选地，所述处理模块，具体用于：[0108] 在所述相关性系数大于第一预设阈值的情况下，执行所述第一控制指令；[0109] 或，在所述相关性系数小于或等于所述第一预设阈值的情况下，丢弃所述第一控制指令。[0110] 可选地，在所述第一控制指令数据集还包括第一控制指令时间信息的情况下，所述处理模块，具体用于：[0111] 获取第二终端的第二控制指令记录信息，其中，所述第二控制指令记录信息包括第二控制指令、第二控制指令坐标和第二控制指令时间信息；[0112] 在所述第二控制指令和所述第一控制指令属于同一类型的控制指令，且第二控制指令坐标与第一控制指令坐标之间的差值小于坐标阈值的情况下，获取所述第二控制指令时间信息与所述第一控制指令时间信息之间的时间差值；[0113] 基于所述时间差值，确定所述第一控制指令的执行方案，根据所述执行方案执行所述第一控制指令。[0114] 可选地，所述处理模块，具体用于：[0115] 在所述时间差值小于第二预设阈值的情况下，确定所述第一控制指令的丢弃方案，丢弃所述第一控制指令；[0116] 在所述时间差值大于或等于第二预设阈值的情况下，确定所述第一控制指令的运行方案，运行所述第一控制指令。[0117] 本申请实施例中的远程控制装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra‑mobilepersonalcomputer，UMPC)、上网本或者个人数字助理(personaldigitalassistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttachedStorage，NAS)、个人计算机(personalcomputer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。[0118] 本申请实施例中的远程控制装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。[0119] 本申请实施例提供的远程控制装置能够实现图1至图3的方法实施例实现的各个过程，为避免重复，这里不再赘述。[0120] 可选地，图5为本申请实施例通过的电子设备结构示意图，如图5所示，本申请实施例还提供一种电子设备500，包括处理器501，存储器502，存储在存储器502上并可在所述处理器501上运行的程序或指令，该程序或指令被处理器501执行时实现上述远程控制方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。[0121] 需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。[0122] 图6为实现本申请实施例的一种电子设备的硬件结构示意图。[0123] 该电子设备600包括但不限于：射频单元601、网络模块602、音频输出单元603、输入单元604、传感器605、显示单元606、用户输入单元607、接口单元608、存储器609、以及处理器610等部件。[0124] 本领域技术人员可以理解，电子设备600还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器610逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图6中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。[0125] 其中，接口单元608用于在第一终端与第二终端建立连接的情况下，获取第一终端生成的第一控制指令数据集，其中，所述第一控制指令数据集包括第一控制指令、第一控制指令坐标和第一灰度区域，所述第一灰度区域是基于所述第一终端显示的第一页面中的第一控制指令坐标确定的；[0126] 处理器610用于基于所述第一控制指令数据集中的第一控制指令坐标，在所述第二终端显示的第二界面中确定第二灰度区域；[0127] 处理器610用于基于所述第一灰度区域和所述第二灰度区域的相关性系数，处理所述第一控制指令。[0128] 处理器610用于在所述相关性系数大于第一预设阈值的情况下，执行所述第一控制指令；[0129] 或，在所述相关性系数小于或等于所述第一预设阈值的情况下，丢弃所述第一控制指令。[0130] 处理器610用于获取第二终端的第二控制指令记录信息，其中，所述第二控制指令记录信息包括第二控制指令、第二控制指令坐标和第二控制指令时间信息；[0131] 处理器610用于在所述第二控制指令和所述第一控制指令属于同一类型的控制指令，且第二控制指令坐标与第一控制指令坐标之间的差值小于坐标阈值的情况下，获取所述第二控制指令时间信息与所述第一控制指令时间信息之间的时间差值；[0132] 处理器610用于基于所述时间差值，确定所述第一控制指令的执行方案，根据所述执行方案执行所述第一控制指令。[0133] 处理器610用于在所述时间差值小于第二预设阈值的情况下，确定所述第一控制指令的丢弃方案，丢弃所述第一控制指令；[0134] 在所述时间差值大于或等于第二预设阈值的情况下，确定所述第一控制指令的运行方案，运行所述第一控制指令。[0135] 应理解的是，本申请实施例中，输入单元604可以包括图形处理器(GraphicsProcessingUnit，GPU)6041和麦克风6042，图形处理器6041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元606可包括显示面板6061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板6061。用户输入单元607包括触控面板6071以及其他输入设备6072。触控面板6071，也称为触摸屏。触控面板6071可包括触摸检测装置和触摸控制器两个部分。其他输入设备6072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器609可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器610可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器610中。[0136] 本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述远程控制方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。[0137] 其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read‑OnlyMemory，ROM)、随机存取存储器(RandomAccessMemory，RAM)、磁碟或者光盘等。[0138] 本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述远程控制方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。[0139] 应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。[0140] 需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。[0141] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。[0142] 上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

专利地区：广东

专利申请日期：2021-08-16

专利公开日期：2024-07-26

专利公告号：CN113656131B