图像处理方法、装置、服务器及存储介质发明专利

专利名称：图像处理方法、装置、服务器及存储介质

专利类型：发明专利

专利申请号：CN202010879636.3

专利申请（专利权）人：西安万像电子科技有限公司
权利人地址：陕西省西安市高新区唐延南路8号3G智能终端产业园4号厂房3层302室

专利发明（设计）人：杨鹏飞

专利摘要：本公开提供一种图像处理方法、装置、服务器及存储介质，涉及图像处理技术领域，能够解决发现用户使用拍照设备对零终端的屏幕进行窥拍时，对零终端屏幕的当前显示画面进行替换或者直接锁屏，会造成用户体验较差的问题。具体技术方案为：向终端设备发送待显示图像，以便终端设备显示待显示图像；接收终端设备发送的至少一个用户的图像；若根据至少一个用户的图像确定至少一个用户中存在非法用户，则确定非法用户的窥拍概率；根据窥拍概率对待显示图像中每个宏块的目标层级的离散余弦变换DCT系数进行编码并发送至终端设备，以便终端设备对每个宏块的目标层级的DCT系数进行解码，生成模糊化的待显示图像并进行显示。本发明用于提高用户体验。

主权利要求：
1.一种图像处理方法，其特征在于，应用于服务器，包括：向终端设备发送待显示图像，以便所述终端设备显示所述待显示图像；
接收所述终端设备发送的至少一个用户的图像，所述至少一个用户的图像是所述终端设备在显示所述待显示图像后获取的；
若根据所述至少一个用户的图像确定所述至少一个用户中存在非法用户，则确定所述非法用户的窥拍概率；
根据所述窥拍概率对所述待显示图像中每个宏块的目标层级的离散余弦变换DCT系数进行编码并发送至所述终端设备，以便所述终端设备对所述每个宏块的目标层级的DCT系数进行解码，生成模糊化的待显示图像并进行显示；
所述确定所述非法用户的窥拍概率包括：
根据以下中的至少一个确定所述非法用户的窥拍概率：
所述非法用户的动作、所述非法用户与显示器之间的距离以及所述非法用户使用的拍照设备与所述显示器之间的角度。
2.根据权利要求1所述的方法，其特征在于，所述根据所述窥拍概率对所述待显示图像中每个宏块的目标层级的DCT系数进行编码包括：对所述待显示图像进行宏块划分，生成至少一个宏块；
对所述至少一个宏块中的每个宏块进行DCT变换以及量化处理；
对所述至少一个宏块中的每个宏块进行DCT变换以及量化处理后，对所述至少一个宏块中的每个宏块按照预设分层规则进行分层，得到至少一个层级；
从所述每个宏块的至少一个层级中确定与所述窥拍概率对应的目标层级；
对所述每个宏块的目标层级的DCT系数进行编码，生成编码后的目标层级的DCT系数。
3.根据权利要求2所述的方法，其特征在于，向所述终端设备发送所述模糊化的待显示图像后，所述方法还包括：若接收到所述终端设备发送的图像恢复指令，则将所述每个宏块的所有层级的DCT系数进行编码并发送至所述终端设备，以便所述终端设备对每个宏块按照的所有层级的DCT系数进行解码并生成所述待显示图像。
4.根据权利要求1所述的方法，其特征在于，所述根据所述至少一个用户的图像确定所述至少一个用户中是否存在非法用户包括：从所述至少一个用户的图像中提取每个用户的人脸特征数据；
若目标用户的人脸特征数据与所述终端设备的每个合法用户的人脸特征数据的差值均大于预设阈值，则所述目标用户为非法用户，所述目标用户为所述至少一个用户中的任意一个用户。
5.根据权利要求1所述的方法，其特征在于，所述向终端设备发送待显示图像前，所述方法还包括：对所述待显示图像进行编码处理，生成编码后的待显示图像；
所述向终端设备发送待显示图像包括：
向所述终端设备发送所述编码后的待显示图像。
6.一种图像处理装置，其特征在于，应用于服务器，包括：待显示图像发送模块，用于向终端设备发送待显示图像，以便所述终端设备显示所述待显示图像；
用户图像接收模块，用于接收所述终端设备发送的至少一个用户的图像，所述至少一个用户的图像是所述终端设备在显示所述待显示图像后获取的；
窥拍概率确定模块，用于若根据所述至少一个用户的图像确定所述至少一个用户中存在非法用户，则确定所述非法用户的窥拍概率；所述窥拍概率确定模块具体用于根据以下中的至少一个确定所述非法用户的窥拍概率：所述非法用户的动作、所述非法用户与显示器之间的距离以及所述非法用户使用的拍照设备与所述显示器之间的角度；
DCT系数编码模块，用于根据所述窥拍概率对所述待显示图像中每个宏块的目标层级的离散余弦变换DCT系数进行编码并发送至所述终端设备，以便所述终端设备对所述每个宏块的目标层级的DCT系数进行解码，生成模糊化的待显示图像并进行显示。
7.根据权利要求6所述的装置，其特征在于，所述DCT系数编码模块用于：对所述待显示图像进行宏块划分，生成至少一个宏块；
对所述至少一个宏块中的每个宏块进行DCT变换以及量化处理；
对所述至少一个宏块中的每个宏块进行DCT变换以及量化处理后，对所述至少一个宏块中的每个宏块按照预设分层规则进行分层，得到至少一个层级；
从所述每个宏块的至少一个层级中确定与所述窥拍概率对应的目标层级；
对所述每个宏块的目标层级的DCT系数进行编码，生成编码后的目标层级的DCT系数。
8.一种服务器，其特征在于，所述服务器包括处理器和存储器，所述存储器中存储有至少一条计算机指令，所述指令由所述处理器加载并执行以实现权利要求1至权利要求5任一项所述的图像处理方法中所执行的步骤。
9.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条计算机指令，所述指令由处理器加载并执行以实现权利要求1至权利要求5任一项所述的图像处理方法中所执行的步骤。 说明书 : 图像处理方法、装置、服务器及存储介质技术领域[0001] 本公开涉及图像处理领域，尤其涉及图像处理方法、装置、服务器及存储介质。背景技术[0002] 目前，云桌面办公系统的基本结构可参照图1。如图1所示，云桌面办公系统主要包括：至少一个零终端101和虚拟桌面服务器102；其中，零终端101用于接收虚拟桌面服务器102发送的虚拟桌面图像，同时将本地鼠标和键盘信息反向传输至虚拟桌面服务器102。虚拟桌面服务器102用于对运行在云端虚拟操作系统中的图像(即虚拟桌面图像)进行采集和编码并发送至零终端101，同时接收零终端101发送的鼠标和键盘信息并进行存储和解析。[0003] 目前，这种云桌面办公系统由于其较高的安全性，在高涉密的特种行业有了比较广泛的应用。其较高的安全性体现在：用户在使用零终端时，零终端上无数据存储，所有数据源和视频图像来源于虚拟桌面服务器，并且可在虚拟桌面服务器给图像加上使用者的水印，从而保证了数据不能轻易泄漏。[0004] 但是，这种数据集中在虚拟桌面服务器的安全方案却无仍法解决用户使用拍照设备对零终端的屏幕进行窥拍的问题，为此，一些防窥拍方案中提出了在发现用户使用拍照设备对零终端的屏幕进行窥拍时，对零终端屏幕的当前显示画面进行替换或者直接锁屏的方案，但是，这种方案的效果并不理想，突然的画面中断会给用户带来不好的体验，而且，如果在一些类似视频会议的场景，突然隐藏原始画面，容易使用户错过一些重要画面，用户体验较差。发明内容[0005] 本公开实施例提供一种图像处理方法、装置、终端设备及存储介质，能够解决发现用户使用拍照设备对零终端的屏幕进行窥拍时，对零终端屏幕的当前显示画面进行替换或者直接锁屏，会造成用户体验较差的问题。所述技术方案如下：[0006] 根据本公开实施例的第一方面，提供一种图像处理方法，应用于服务器，包括：[0007] 向终端设备发送待显示图像，以便所述终端设备显示所述待显示图像；[0008] 接收所述终端设备发送的至少一个用户的图像，所述至少一个用户的图像是所述终端设备在显示所述待显示图像后获取的；[0009] 若根据所述至少一个用户的图像确定所述至少一个用户中存在非法用户，则确定所述非法用户的窥拍概率；[0010] 根据所述窥拍概率对所述待显示图像中每个宏块的目标层级的离散余弦变换DCT系数进行编码并发送至所述终端设备，以便所述终端设备对所述每个宏块的目标层级的DCT系数进行解码，生成模糊化的待显示图像并进行显示。[0011] 本公开实施例提供的图像处理方法，能够向终端设备发送待显示图像，以便该终端设备显示该待显示图像；接收该终端设备发送的至少一个用户图像，该至少一个用户图像是该终端设备在显示该待显示图像后获取的；若根据该至少一个用户的图像确定该至少一个用户中存在非法用户，则确定该非法用户的窥拍概率；根据该窥拍概率对该待显示图像中每个宏块的目标层级的离散余弦变换DCT系数进行编码并发送至该终端设备，以便该终端设备对该每个宏块的目标层级的DCT系数进行解码，生成模糊化的待显示图像并进行显示，并不需要在发现用户使用拍照设备对终端设备的屏幕进行窥拍时，对终端设备的当前显示画面进行替换或者直接锁屏，提高了用户体验。[0012] 在一个实施例中，所述根据所述窥拍概率对所述待显示图像中每个宏块的目标层级的DCT系数进行编码包括：[0013] 对所述待显示图像进行宏块划分，生成至少一个宏块；[0014] 对所述至少一个宏块中的每个宏块进行DCT变换以及量化处理；[0015] 对所述至少一个宏块中的每个宏块进行DCT变换以及量化处理后，对所述至少一个宏块中的每个宏块按照预设分层规则进行分层，得到至少一个层级；[0016] 从所述每个宏块的至少一个层级中确定与所述窥拍概率对应的目标层级；[0017] 对所述每个宏块的目标层级的DCT系数进行编码，生成编码后的目标层级的DCT系数。[0018] 通过对至少一个宏块的每个宏块进行DCT变换和量化处理，能够有效的减少数据处理量；通过每个宏块的至少一个层级中确定与该窥拍概率对应的目标层级，对该每个宏块的目标层级的DCT系数进行编码并发送至终端设备，终端设备能够根据每个宏块的目标层级的DCT系数的编码数据进行解码，根据模糊化的待显示图像。[0019] 在一个实施例中，向所述终端设备发送所述模糊化的待显示图像后，所述方法还包括：[0020] 若接收到所述终端设备发送的图像恢复指令，则将所述每个宏块的所有层级的DCT系数进行编码并发送至所述终端设备，以便所述终端设备对每个宏块按照的所有层级的DCT系数进行解码并生成所述待显示图像。[0021] 通过接收终端设备发送的图像恢复指令，并将每个宏块的所有层级的DCT系数进行编码并发送至终端设备，终端设备能够根据每个宏块的所有层级的DCT系数的编码数据对该模糊化的待显示图像进行恢复，生成该待显示图像。[0022] 在一个实施例中，所述根据所述至少一个用户的图像确定所述至少一个用户中是否存在非法用户包括：[0023] 从所述至少一个用户的图像中提取每个用户的人脸特征数据；[0024] 若目标用户的人脸特征数据与所述终端设备的每个合法用户的人脸特征数据的差值均大于预设阈值，则所述目标用户为非法用户，所述目标用户为所述至少一个用户中的任意一个用户。[0025] 通过提取每个用户的人脸特征数据，并将每个用户的人脸特征数据与每个合法用户的人脸特征数据做差值运算，能够准确的确定非法用户。[0026] 在一个实施例中，所述确定所述非法用户的窥拍概率包括：[0027] 根据以下中的至少一个确定所述非法用户的窥拍概率：[0028] 所述非法用户的动作、所述非法用户与显示器之间的距离以及所述非法用户使用的拍照设备与所述显示器之间的角度。[0029] 通过非法用户的动作、非法用户与显示器之间的距离以及非法用户使用的拍照设备与显示器之间的角度能够准确的确定非法用户的窥拍概率。[0030] 在一个实施例中，所述向终端设备发送待显示图像前，所述方法还包括：[0031] 对所述待显示图像进行编码处理，生成编码后的待显示图像；[0032] 所述向终端设备发送待显示图像包括：[0033] 向所述终端设备发送所述编码后的待显示图像。[0034] 通过对待显示图像进行编码并将编码后的待显示图像发送至终端设备，能够提高待显示图像在传输过程中的安全性的同时，减少待显示图像在传输过程中的数据量。[0035] 根据本公开实施例的第二方面，提供一种图像处理装置，应用于服务器，包括：[0036] 待显示图像发送模块，用于向终端设备发送待显示图像，以便所述终端设备显示所述待显示图像；[0037] 用户图像接收模块，用于接收所述终端设备发送的至少一个用户图像，所述至少一个用户图像是所述终端设备在显示所述待显示图像后获取的；[0038] 窥拍概率确定模块，用于若根据所述至少一个用户图像所述至少一个用户中存在非法用户，则确定所述非法用户的窥拍概率；[0039] DCT系数编码模块，用于根据所述窥拍概率对所述待显示图像中每个宏块的目标层级的离散余弦变换DCT系数进行编码并发送至所述终端设备，以便所述终端设备对所述每个宏块的目标层级的DCT系数进行解码，生成模糊化的待显示图像并进行显示。[0040] 在一个实施例中，所述DCT系数编码模块用于：[0041] 对所述待显示图像进行宏块划分，生成至少一个宏块；[0042] 对所述至少一个宏块中的每个宏块进行DCT变换以及量化处理；[0043] 对所述至少一个宏块中的每个宏块进行DCT变换以及量化处理后，对所述至少一个宏块中的每个宏块按照预设分层规则进行分层，得到至少一个层级；[0044] 从所述每个宏块的至少一个层级中确定与所述窥拍概率对应的目标层级；[0045] 对所述每个宏块的目标层级的DCT系数进行编码，生成编码后的目标层级的DCT系数。[0046] 在一个实施例中，所述装置还包括：[0047] 图像恢复指令接收模块，用于若接收到所述终端设备发送的图像恢复指令，则将所述每个宏块的所有层级的DCT系数进行编码并发送至所述终端设备，以便所述终端设备对每个宏块按照的所有层级的DCT系数进行解码并生成所述待显示图像。[0048] 在一个实施例中，所述窥拍概率确定模块用于：[0049] 从所述至少一个用户的图像中提取每个用户的人脸特征数据；[0050] 若目标用户的人脸特征数据与所述终端设备的每个合法用户的人脸特征数据的差值均大于预设阈值，则所述目标用户为非法用户，所述目标用户为所述至少一个用户中的任意一个用户。[0051] 在一个实施例中，所述窥拍概率确定模块用于：[0052] 根据以下中的至少一个确定所述非法用户的窥拍概率：[0053] 所述非法用户的动作、所述非法用户与显示器之间的距离以及所述非法用户使用的拍照设备与所述显示器之间的角度。[0054] 在一个实施例中，所述装置还包括：[0055] 待显示图像编码模块，用于对所述待显示图像进行编码处理，生成编码后的待显示图像；[0056] 所述DCT系数编码模块用于：[0057] 向所述终端设备发送所述编码后的待显示图像。[0058] 根据本公开实施例的第三方面，提供一种服务器，所述服务器包括处理器和存储器，所述存储器中存储有至少一条计算机指令，所述指令由所述处理器加载并执行以实现第一方面中任一项所述的图像处理方法中所执行的步骤。[0059] 根据本公开实施例的第四方面，提供一种计算机可读存储介质，所述存储介质中存储有至少一条计算机指令，所述指令由处理器加载并执行以实现第一方面中任一项所述的图像处理方法中所执行的步骤。[0060] 应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明[0061] 此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。[0062] 图1是现有技术提供的一种云桌面办公系统的结构图；[0063] 图2是本公开实施例提供的一种图像处理方法的流程图一；[0064] 图3是本公开实施例提供的一种8x8的宏块的示意图；[0065] 图4是本公开实施例提供的一种图像处理方法的流程图二；[0066] 图5是本公开实施例提供的一种当前偷拍等级确定方法的流程图；[0067] 图6是本公开实施例提供的一种图像处理装置的结构图一；[0068] 图7是本公开实施例提供的一种图像处理装置的结构图二；[0069] 图8是本公开实施例提供的一种服务器的结构图。具体实施方式[0070] 这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。[0071] 图2是本公开实施例提供的一种图像处理方法的流程图一，应用于服务器。如图2所示，该方法包括：[0072] S201、向终端设备发送待显示图像，以便该终端设备显示该待显示图像。[0073] 示例性地，该服务器可以为虚拟桌面服务器、云服务器或者其他后台服务器，本实施此处不做具体限制。该终端设备可以为零终端、计算机、手机以及平板等终端设备，本实施例此处不做具体限制。[0074] 进一步地，在该服务器为虚拟桌面服务器，该终端设备为零终端时，该待显示图像为虚拟桌面图像。同样地，该待显示图像还可以为其他的图像，例如视频图像、网页界面图像等，本实施例此处不做具体限制。[0075] 在本步骤中，服务器先对该待显示图像进行编码处理，生成编码后的待显示图像，再将该编码后的待显示图像发送至终端设备。终端设备接收到该编码后的待显示图像后，对该编码后的待显示图像解码，生成该待显示图像，再显示该待显示图像。[0076] S202、接收该终端设备发送的至少一个用户图像，该至少一个用户图像是该终端设备在显示该待显示图像后获取的。[0077] 示例性地，该终端设备在显示该待显示图像后，可以通过摄像头获取该终端设备的至少一个用户的图像。摄像头通常布设于终端设备显示器正面面板上，或者，可以使用单独的摄像头并调整摄像头位置，使得摄像头能够对显示器前方一定范围内的图像进行拍摄，并从显示器前方一定范围内的图像中获取该终端设备的至少一个用户的图像。[0078] S203、若根据该至少一个用户的图像确定该至少一个用户中存在非法用户，则确定该非法用户的窥拍概率。[0079] 在本步骤中，根据该至少一个用户的图像确定该至少一个用户中存在非法用户包括：[0080] 服从该至少一个用户的图像中提取每个用户的人脸特征数据；若目标用户的人脸特征数据与每个合法用户的人脸特征数据的差值均大于预设阈值，则该目标用户为非法用户，该目标用户为该至少一个用户中的任意一个用户。[0081] 示例性地，该终端设备的上的设置有摄像头采集到A、B、C三个用户的图像，并将A、B、C三个用户的图像发送至服务器。服务器接收到A、B、C三个用户的图像后，再从A、B、C三个用户的图像中提取A、B、C三个用户的人脸特征数据。[0082] 进一步地，服务器提取A、B、C三个用户的人脸特征数据后，分别将A、B、C三个用户的人脸特征数据与预先存储的至少一个合法用户中每个合法用户的人脸特征数据做差值运算。例如，服务器中预先存储有该终端设备(或该服务器)的合法用户E、F、G的人脸特征数，若目标用户A的人脸特征数据分别与E、F、G的人脸特征数的差值均大于预设阈值，则目标用户A为非法用户，即该至少一个用户中存在非法用户。[0083] 下面对确定该非法用户的窥拍概率进行说明。[0084] 示例性地，服务器可以根据该非法用户的动作、该非法用户与该终端设备的显示器之间的距离以及该非法用户使用的拍照设备与该显示器之间的角度中的至少一个确定该非法用户的窥拍概率。[0085] 此处以A用户为非法用户为例，对如何根据非法用户的动作确定该非法用户的窥拍概率进行说明。[0086] 该服务器接收到该非法用户A的图像后，采用人工智能识别该非法用户A的动作，若识别出该非法用户A的动作为超过第一预设时长静止不动，则该非法用户A的窥拍概率大于或者等于第一预设概率阈值；若识别出该非法用户A的动作为脸部左右晃动，则该非法用户A的窥拍概率为大于或者第二预设概率阈值且小于第一预设概率阈值，其中，第二预设概率阈值小于第一预设概率阈值；若识别出该非法用户A的动作为来回移动，则该非法用户A的窥拍概率小于第二预设概率阈值且大于或者等于第三概率阈值，其中，第三预设概率阈值小于第二预设概率阈值；若识别出该非法用户A在该终端设备前出现的时长小于第二预设时长，则该非法用户A的窥拍概率小于第三预设概率阈值，其中，第二预设时长小于第一预设时长。例如在本实施例中，该第三预设概率阈值为40％，该第二预设概率阈值为60％，该第一预设概率阈值为80％。[0087] 下面对如何根据非法用户与该显示器之间的距离确定该非法用户的窥拍概率进行说明。示例性地，服务器可以采用单目测距算法确定该非法用户A与该摄像头之间的距离，该非法用户A与该摄像头之间的距离即为该非法用户A与该终端设备的显示器之间的距离。若该非法用户A与该显示器之间的距离小于或者等于第一预设距离阈值，则该非法用户A的窥拍概率大于或者等于第一预设概率阈值；若该非法用户A与该显示器之间的距离大于第一预设距离阈值且小于或者等于第二预设距离阈值，则确定该非法用户A的窥拍概率为大于或者第二预设概率阈值且小于第一预设概率阈值，其中，该第二预设距离阈值大于第一预设距离阈值；若该非法用户A与该显示器之间的距离小于或者等于第三预设距离阈值且大于第二预设距离阈值，则确定该非法用户A的窥拍概率小于第二预设概率阈值且大于或者等于第三概率阈值，其中，该第三预设距离阈值大于该第二预设距离阈值；若该非法用户A与该显示器之间的距离大于第三预设距离阈值，则该非法用户A的窥拍概率小于第三预设概率阈值。例如在本实施例中，该第一预设距离阈值为0.3～1.2m，该第二预设距离阈值为1.2～2m，该第三预设距离阈值为2～3m。[0088] 下面对如何该非法用户使用的拍照设备与该显示器之间的角度确定该非法用户的窥拍概率进行说明。示例性地，若非法用户A使用拍照设备，则该摄像头可以采集到非法用户A使用拍照设备时，该拍照设备发出的红外线。然后，服务器确定该红外线与摄像头的角度，该红外线与该摄像头的角度即为该拍照设备与该显示器之间的角度。[0089] 若该拍照设备与该显示器之间的角度大于或者等于第一预设角度阈值，则该非法用户A的窥拍概率大于或者等于第一预设概率阈值；若该拍照设备与该显示器之间的距离大于或者等于第二预设角度阈值且小于第一预设角度阈值，则确定该非法用户A的窥拍概率为大于或者等于第二预设概率阈值且小于第一预设概率阈值，其中，该第二预设角度阈值小于第一预设角度阈值；若该拍照设备与该显示器之间的角度小于第二预设角度阈值且大于或者等于第三预设角度阈值，则确定该非法用户A的窥拍概率小于第二预设概率阈值且大于或者等于第三概率阈值，其中，该第三预设角度阈值小于该第二预设角度阈值；若该拍照设备与该显示器之间的角度小于第三预设角度阈值，则该非法用户A的窥拍概率小于第三预设概率阈值。例如在本实施例中，该第一预设角度阈值为60～80°，该第二预设角度阈值为40～60°，该第三预设角度阈值为20～40°。[0090] S204、根据该窥拍概率对该待显示图像中每个宏块的目标层级的离散余弦变换(DiscreteCosineTransform，DCT)系数进行编码并发送至该终端设备，以便该终端设备对该每个宏块的目标层级的DCT系数进行解码，生成模糊化的待显示图像并进行显示。[0091] 进一步地，确定非法用户的窥拍概率之后，再根据该窥拍概率确定出窥拍等级。[0092] 实际实现时，需要预先设置的窥拍概率范围和窥拍等级的对应方式，来确定窥拍概率对应的窥拍等级。示例性地，假设窥拍等级为7级，其对应关系可以如下表：[0093] 窥拍等级 窥拍概率1级 31％～40％2级 41％～50％3级 51％～60％4级 61％～70％5级 71％～80％6级 81％～90％7级 91％～100％[0094] 表1[0095] 此处需要说明的是，若确定存在两个或者两个以上非法用户，则根据指定用户的窥拍概率的确定该窥拍等级，该指定用户为非法用户中窥拍概率最高的用户。[0096] 例如，用户A和用户B均为非法用户，用户A的窥拍概率为60％，用户B的窥拍概率为40％，则根据用户A的窥拍概率确定窥拍等级，即窥拍等级为3级。[0097] 此处需要说明的是，表1只是示例性地示出了窥拍概率和窥拍等级的对应关系，实际应用中，将窥拍等级总共划分为多少个等级，以及，每一个窥拍等级与窥拍概率的对应关系都可以根据需要进行设置，本实施例此处不做具体限制。[0098] 示例性地，确定窥拍等级后，服务器可以根据该窥拍等级向终端设备发送提示信息。终端设备接收到该提示信息后，可以在显示器的显示画面的指定位置上弹出警告窗口来提醒用户当前终端设备存在疑似窥拍行为，以便用户提高警惕。[0099] 示例性地，服务器确定与该窥拍概率对应的窥拍等级后，再根据该窥拍等级对该待显示图像中每个宏块的目标层级的离散余弦变换DCT系数进行编码并发送至该终端设备。[0100] 在本步骤中，根据该窥拍等级对该待显示图像中每个宏块的目标层级的DCT系数进行编码包括：对该待显示图像进行宏块划分，生成至少一个宏块；对该至少一个宏块中的每个宏块进行DCT变换以及量化处理；对该至少一个宏块中的每个宏块进行DCT变换以及量化处理后，对该至少一个宏块中的每个宏块按照预设分层规则进行分层，得到至少一个层级；从该每个宏块的至少一个层级中确定与该窥拍等级对应的目标层级；对该每个宏块的目标层级的DCT系数进行编码，生成编码后的目标层级的DCT系数。[0101] 示例性地，可以将该待显示图像划分为至少一个8x8像素的宏块。然后对每个8x8的宏块DCT变换以及量化处理，再对该每个8x8像素的宏块按照预设分层规则进行分层，得到至少7个层级。结合图3所示，图3是本公开实施例提供的一种8x8的宏块的示意图。如图3所示，该8x8宏块包括0至63共64个像素，其中，第一层级包括0像素，第二层级包括1、2像素，第三层包括3、4、5、6像素，第四层级包括7、8、9、10、11、12、13、14像素，第五层级包括15、16、17、18、19、20、21、22、23、24、25、26、27、28、29、30像素，第六层级包括31、32、33、34、35、36、37、38、39、40、41、42、43、44、45、46像素，第七层级包括47、48、49、50、51、52、53、54、55、56、57、58、59、60、61、62、63像素。其中，同一层级的各像素的重要性相同，且第一层级的重要性最高，第二层级次之，依次类推，第七层级的重要性最低。[0102] 此处需要说明的是，本实施例此处只是示例性地示出了一种宏块划分和层级划分的实现方式，实际应用中，将宏块划分为多大，以及，每一个宏块可以划分为多少层级都可以根据需要进行设置，本实施例此处不做具体限制。[0103] 若将窥拍等级同样划分为7级，则根据窥拍等级来确定该窥拍等级对应的目标层级；具体的，当窥拍等级为1时，对应的目标层级为第一至第七层级，即，对第一层级至第七层级的DCT系数进行编码；当窥拍等级为2时，对应的目标层级为第一至第六层级，即，对第一层级至第六层级的DCT系数进行编码；当窥拍等级为3时，对应的目标层级为第一至第五层级，即，对第一层级至第五层级的DCT系数进行编码；以此类推，当窥拍等级为7时，对应的目标层级为第一层级，即，对第一层级的DCT系数进行编码。[0104] 此处需要说明的是，本实施例此处只是示例性地示出了窥拍概率和目标层级的对应关系，实际应用中，将窥拍等级总共划分为多少个等级，以及，每一个窥拍等级与目标层级的对应关系都可以根据需要进行设置，本实施例此处不做具体限制。[0105] 由于服务器只将每个宏块中与窥拍等级对应的目标层级的DCT系数进行编码并发送至终端设备，并没有将每个宏块的所有层级的DCT系数进行编码并发送至终端设备，因此只向终端设备发送了该待显示图像的部分数据。终端设备对该每个宏块的编码后的目标层级的DCT系数进行解码时，只能根据该待显示图像的部分数据生成的模糊化的待显示图像。[0106] 窥拍等级越高，则与窥拍等级对应的该目标层级包括的层级数越少，则对该待显示图像的每个宏块目标层级的DCT系数进行编码，生成的编码后的目标层级的DCT系数所包含的数据量越少，即向终端设备发送的每个宏块的编码后的目标层级的DCT系数所包含的数据量越少。终端设备对该每个宏块的编码后的目标层级的DCT系数进行解码，生成的模糊化的待显示图像所包含的数据量越少，该模糊化的待显示图像越模糊。其中，层级数越少图像越模糊，层级数越多，图像越清晰。[0107] 示例性地，该终端设备在生成该模糊化的待显示图像后，显示该模糊化的待显示图像。若用户确认当前不存在疑似偷拍行为，可以在终端设备上输入图像恢复指令，以指示将该模糊化的待显示图像恢复正常。终端设备接收到该图像恢复指令后，向服务器发送该图像恢复指令。服务器若接收到该终端设备发送的图像恢复指令，则将该待显示图像的每个宏块的所有层级的DCT系数进行编码并发送至该终端设备。服务器向终端设备发送了该待显示图像中每个宏块的所有层级的DCT系数的编码数据，包含了该待显示图像的所有数据量，终端设备接收到待显示图像中每个宏块的所有层级的DCT系数的编码数据后，对该待显示图像中每个宏块的所有层级的DCT系数的编码数据进行解码，便可对该模糊化的待显示图像进行恢复，生成该待显示图像。[0108] 本公开实施例提供的图像处理方法，能够向终端设备发送待显示图像，以便该终端设备显示该待显示图像；接收该终端设备发送的至少一个用户图像，该至少一个用户图像是该终端设备在显示该待显示图像后获取的；若根据该至少一个用户的图像确定该至少一个用户中存在非法用户，则确定该非法用户的窥拍概率；根据该窥拍概率对该待显示图像中每个宏块的目标层级的离散余弦变换DCT系数进行编码并发送至该终端设备，以便该终端设备对该每个宏块的目标层级的DCT系数进行解码，生成模糊化的待显示图像并进行显示，并不需要在发现用户使用拍照设备对终端设备的屏幕进行窥拍时，对终端设备的当前显示画面进行替换或者直接锁屏，提高了用户体验。[0109] 下面结合图4至图5实施例，对本公开实施例提供的图像处理方法作进一步详细说明。图4是本公开实施例提供的一种图像处理方法的流程图二。如图4所示，该方法包括：[0110] S401、用户通过零终端登录虚拟桌面服务器；[0111] 桌面服务器对图像源设备采集到的虚拟桌面源图像(即待显示图像)进行编码，并将编码数据发送到零终端。[0112] S402、用户使用过程中，零终端摄像头实时采集用户使用图像(即至少一个用户图像)；[0113] 所述零终端摄像头通常布设于零终端显示器正面面板上，或者，可以使用单独的摄像头并调整摄像头位置，使得摄像头能够对显示器前方一定范围内的图像进行拍摄。本发明中，摄像头在工作过程中，所拍摄到的图像被称为用户使用图像。[0114] S403、零终端将摄像头拍摄得到的用户使用图像不断上传给虚拟桌面服务器，由虚拟桌面服务器根据用户使用图像确定当前偷拍等级；[0115] 具体的，虚拟桌面服务器内置能够进行偷拍行为检测的智能识别模块，该模块根据用户使用图像确定当前偷拍等级(即窥拍等级)。下面结合图5实施例，对虚拟桌面服务器如何根据用户使用图像确定当前偷拍等级进行说明。图5是本公开实施例提供的一种当前偷拍等级确定方法的流程图。如图5所示，该方法包括：[0116] S501、智能识别模块通过画面内容识别出当前用户使用图像中是否有合法使用者以外的人(即非法用户)；[0117] 这一步骤可以通过人脸识别来实现，具体的，系统中预先存储合法用户的人脸图像，通过人脸识别来判断当前图片中是否有合法使用者以外的人。[0118] S502、判断合法使用者以外的人是否有疑似偷拍的行为动作，以及疑似偷拍的概率(即窥拍概率)；[0119] 具体的，可以通过合法使用者以外的人的动作、与显示器之间的距离、拍照设备的角度等等来判断是否有疑似偷拍的行为动作。[0120] 判断结果可以通过概率值来表示，比如，疑似偷拍的概率为：92％、78％、65％等等。[0121] 实际实现中，可以在疑似偷拍概率大于一个预设阈值时，确定当前有疑似偷拍行为。所述预设阈值可以根据需要进行设置，比如：10％、20％、30％等等。[0122] S503、在确定当前疑似偷拍的概率之后，确定出当前偷拍等级。[0123] 实际实现时，需要预先设置概率范围和偷拍等级的对应方式，举例来说，假设偷拍等级为7级，其对应关系可以如表1所示。[0124] 表1只是一个示例，实际应用中，将疑似偷拍等级总共划分为多少个等级，以及，每一个等级与疑似偷拍概率的对应关系都可以根据需要进行设置，这里不做限制。[0125] 根据类似的对应关系表，在确定出疑似偷拍的概率之后，就能够对应得到疑似偷拍等级。[0126] S404、服务器端根据识别出来的疑似偷拍等级对当前虚拟桌面源图像渐进式编码的层级进行控制，从而使得向零终端输出的屏幕显示画面变得模糊，同时，在当前屏幕显示画面的指定位置上弹出警告窗口来提醒使用人提高警惕。[0127] 用户可以通过窗口选择处理方式，服务器根据用户的选择结果，来进一步恢复或继续模糊画面。[0128] 首先，对虚拟桌面源图像渐进式编码的层级控制原理详述如下：[0129] 在本实施中，通过无量化的联合图像专家小组(JointPhotographicExpertsGroup，JPEG)压缩来完成虚拟桌面源图像的压缩。示例性地，将虚拟桌面源图像按照JPEG压缩编码方式划分为至少一个的宏块，每个宏块大小为8x8像素。再对每个宏块进行DCT变换以及量化，得到每个宏块的像素值在频域上的结果，再根据JPEG规定按如图3中的数字顺序依次保存和读取每个宏块中64个像素的DCT的系数值。[0130] 变换系数的存储顺序在一定程度上代表其重要性；渐进式的思路是将这连续的64个DCT的系数值分段传输，只需要在零终端将未传输的位置进行补零即可，然后进行反量化和反DCT变换。分段的方式如下：[0131] 第一层：DC系数(0)；第二层：12；第三层：3456；第四层：7891011121314；第五层：15161718192021222324252627282930；第六层：31323334353637383940414243444546；第七层：4748495051525354555657585960616263。[0132] 其中，层数越低画面越模糊，层数越高越清晰。[0133] 依据上述原理，根据疑似偷拍等级，对渐进式编码层级的控制方式如下：[0134] 将疑似偷拍等级同样划分为7级，与编码层级(即目标层级)相匹配，从而根据疑似偷拍等级来确定编码层级；具体的，当疑似偷拍等级为1时，对应的编码层级为7级，即，对第一层级至第七层级的DCT系数进行编码；当疑似偷拍等级为2时，对应的编码层级为6，即，对第一层级至第六层级的DCT系数进行编码；当疑似偷拍等级为3时，对应的编码层级为5，对第一层级至第五层级的DCT系数进行编码；以此类推，当疑似偷拍等级为7时，对应的编码层级为1级，即，对第一层级的DCT系数进行编码。[0135] 当确定编码层级之后，当前使用者可以根据需要对编码层级进行调整，来控制画面更清晰或者更模糊，则服务器根据用户所发送的控制指令进行编码层级的调整；比如，如果用户希望画面更清晰，则在当前传输的基础上继续顺序叠加后续的层，比如，当前传输1‑2层，当用户希望更清晰时，可以在当前传输的基础上继续再传第3层、第4层、第5层......直到达到用户的要求时停止；或者，也可以由用户直接设置希望的传输层级，例如，当前传输1‑2层，用户将传输层级调整为6，则，在当前传输基础上继续再传第3‑6层。[0136] 如果用户希望画面更模糊，则可以通过降低传输层级的方式来实现，或者，也可以根据用户控制直接将当前传输层级调整为希望的数值。[0137] 对于上述对应的实施例中所描述的图像处理方法，下述为本公开装置实施例，可以用于执行本公开方法实施例。[0138] 图6为本公开实施例提供的一种图像处理装置的结构示意图一，该图像处理装置应用于服务器。如图6所示，该装置60包括：[0139] 待显示图像发送模块601，用于向终端设备发送待显示图像，以便所述终端设备显示所述待显示图像；[0140] 用户图像接收模块602，用于接收所述终端设备发送的至少一个用户图像，所述至少一个用户图像是所述终端设备在显示所述待显示图像后获取的；[0141] 窥拍概率确定模块603，用于若根据所述至少一个用户图像所述至少一个用户中存在非法用户，则确定所述非法用户的窥拍概率；[0142] DCT系数编码模块604，用于根据所述窥拍概率对所述待显示图像中每个宏块的目标层级的离散余弦变换DCT系数进行编码并发送至所述终端设备，以便所述终端设备对所述每个宏块的目标层级的DCT系数进行解码，生成模糊化的待显示图像并进行显示。[0143] 在一个实施例中，DCT系数编码模块604用于：[0144] 对所述待显示图像进行宏块划分，生成至少一个宏块；[0145] 对所述至少一个宏块中的每个宏块进行DCT变换以及量化处理；[0146] 对所述至少一个宏块中的每个宏块进行DCT变换以及量化处理后，对所述至少一个宏块中的每个宏块按照预设分层规则进行分层，得到至少一个层级；[0147] 从所述每个宏块的至少一个层级中确定与所述窥拍概率对应的目标层级；[0148] 对所述每个宏块的目标层级的DCT系数进行编码，生成编码后的目标层级的DCT系数。[0149] 在一个实施例中，如图7所示，该装置60还包括：[0150] 图像恢复指令接收模块605，用于若接收到所述终端设备发送的图像恢复指令，则将所述每个宏块的所有层级的DCT系数进行编码并发送至所述终端设备，以便所述终端设备对每个宏块按照的所有层级的DCT系数进行解码并生成所述待显示图像。[0151] 在一个实施例中，窥拍概率确定模块603用于：[0152] 从所述至少一个用户的图像中提取每个用户的人脸特征数据；[0153] 若目标用户的人脸特征数据与所述终端设备的每个合法用户的人脸特征数据的差值均大于预设阈值，则所述目标用户为非法用户，所述目标用户为所述至少一个用户中的任意一个用户。[0154] 在一个实施例中，窥拍概率确定模块603用于：[0155] 根据以下中的至少一个确定所述非法用户的窥拍概率：[0156] 所述非法用户的动作、所述非法用户与显示器之间的距离以及所述非法用户使用的拍照设备与所述显示器之间的角度。[0157] 在一个实施例中，该装置60还包括：[0158] 待显示图像编码模块606，用于对所述待显示图像进行编码处理，生成编码后的待显示图像；[0159] DCT系数编码模块604用于：[0160] 向所述终端设备发送所述编码后的待显示图像。[0161] 本公开实施例提供的图像处理装置，其实现过程和技术效果可以参见上述图2至图5实施例，在此不再赘述。[0162] 图8是本公开实施例提供的终端设备的硬件结构示意图，如图8所示，该服务器80包括：[0163] 处理器801和存储器802，所述存储器802中存储有至少一条计算机指令，所述指令由所述处理器801加载并执行以实现上述方法实施例中所描述的图像处理方法。[0164] 基于上述图2至图5对应的实施例中所描述的图像处理方法，本公开实施例还提供一种计算机可读存储介质，例如，非临时性计算机可读存储介质可以是只读存储器(英文：ReadOnlyMemory，ROM)、随机存取存储器(英文：RandomAccessMemory，RAM)、CD‑ROM、磁带、软盘和光数据存储装置等。该存储介质上存储有计算机指令，用于执行上述图2至图5对应的实施例中所描述的图像处理方法，此处不再赘述。[0165] 本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。[0166] 本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

专利地区：陕西

专利申请日期：2020-08-27

专利公开日期：2024-07-26

专利公告号：CN112087625B