图像处理方法、图像处理装置、终端设备及存储介质

专利名称：图像处理方法、图像处理装置、终端设备及存储介质

专利类型：实用新型专利

专利申请号：CN202011465940.X

专利申请（专利权）人：OPPO(重庆)智能科技有限公司
权利人地址：重庆市渝北区回兴街道霓裳大道24号

专利发明（设计）人：尹康

专利摘要：本申请适用于图像处理技术领域，提供了一种图像处理方法、图像处理装置、终端设备及存储介质，包括：获取待处理图像的L分量；获取目标光照向量；根据所述待处理图像的L分量和所述目标光照向量，确定目标L分量；根据所述目标L分量，确定所述待处理图像的重光照图像。通过本申请可对待处理图像进行重光照处理，改变待处理图像的光照效果。

主权利要求：
1.一种图像处理方法，其特征在于，所述图像处理方法包括：获取待处理图像的L分量，所述待处理图像的L分量是指所述待处理图像在LAB颜色空间的L分量；对所述待处理图像进行LAB分解，得到所述待处理图像的L分量；
获取目标光照向量；
根据所述待处理图像的L分量和所述目标光照向量，确定目标L分量；
根据所述目标L分量，确定所述待处理图像的重光照图像；
所述根据所述待处理图像的L分量和所述目标光照向量，确定目标L分量包括：将所述待处理图像的L分量输入至已训练的深度学习模型中的编码器，得到所述待处理图像的图像特征；
将所述待处理图像的图像特征和所述目标光照向量输入至所述深度学习模型中的解码器，得到所述目标L分量。
2.如权利要求1所述的图像处理方法，其特征在于，训练所述深度学习模型包括：获取M组训练数据，M为正整数，一组训练数据包括第一图像、第一光照向量、第二图像和第二光照向量，所述第一光照向量是所述第一图像的光照向量，所述第二图像是使用所述第二光照向量对所述第一图像进行渲染，得到的图像；
对于第i组训练数据，所述第i组训练数据是所述M组训练数据中的任一组训练数据，分别获取所述第i组训练数据中第一图像和第二图像的L分量，所述第一图像的L分量是指所述第一图像在所述LAB颜色空间的L分量，所述第二图像的L分量是指所述第二图像在所述LAB颜色空间的L分量；
将所述第一图像的L分量输入至所述编码器，得到所述第一图像的图像特征和预测光照向量；
将所述第一图像的图像特征和所述第二光照向量输入至所述解码器，得到预测L分量；
根据所述预测光照向量、所述第一光照向量、所述第二图像的L分量和所述预测L分量，更新所述深度学习模型中的模型参数；
若检测到所述深度学习模型收敛，则停止更新所述深度学习模型中的模型参数，并确定停止更新时所述深度学习模型的模型参数为所述深度学习模型的目标模型参数。
3.如权利要求2所述的图像处理方法，其特征在于，所述根据所述预测光照向量、所述第一光照向量、所述第二图像的L分量和所述预测L分量，更新所述深度学习模型中的模型参数包括：根据所述预测光照向量和所述第一光照向量，确定第一损失函数；
根据所述第二图像的L分量和所述预测L分量，确定第二损失函数；
根据所述第一损失函数和所述第二损失函数，更新所述深度学习模型中的模型参数。
4.如权利要求2所述的图像处理方法，其特征在于，所述获取M组训练数据包括：获取S张第一图像，S为正整数；
获取所述S张第一图像各自的第一光照向量，得到S个第一光照向量；
从所述S个第一光照向量中，确定K个第二光照向量，K为小于或等于S的正整数；
对于第j张第一图像，所述第j张第一图像是所述S张第一图像中的任一第一图像，使用所述K个第二光照向量分别对所述第j张第一图像进行渲染，得到所述第j张第一图像对应的K张第二图像；
根据所述第j张第一图像、所述第j张第一图像的第一光照向量、所述K张第二图像和所述K个第二光照向量，确定所述第j张第一图像对应的K组训练数据；
根据所述S张第一图像各自对应的K组训练数据，确定所述M组训练数据，M＝K*S。
5.如权利要求4所述的图像处理方法，其特征在于，所述根据所述第j张第一图像、所述第j张第一图像的第一光照向量、所述K张第二图像和所述K个第二光照向量，确定所述第j张第一图像对应的K组训练数据包括：对于第p张第二图像，所述第p张第二图像是使用第p个第二光照向量对所述第j张第一图像进行渲染得到的，所述第p个第二光照向量为所述K个第二光照向量中的任一第二光照向量，确定所述第j张第一图像、所述第j张第一图像的第一光照向量、所述第p张第二图像和所述第p个第二光照向量为所述第p张第二图像对应的训练数据；
根据所述K张第二图像各自对应的训练数据，确定所述第j张第一图像对应的K组训练数据。
6.如权利要求1所述的图像处理方法，其特征在于，在将所述待处理图像的L分量输入至已训练的深度学习模型中的编码器之前，还包括：获取所述待处理图像所属场景；
根据所述待处理图像所属场景，确定所述深度学习模型。
7.如权利要求1至6任一项所述的图像处理方法，其特征在于，在获取目标光照向量之前，还包括：获取目标图像；
所述获取目标光照向量包括：
根据所述目标图像，确定所述目标光照向量。
8.如权利要求7所述的图像处理方法，其特征在于，所述根据所述目标图像，确定所述目标光照向量包括：获取所述目标图像的L分量，所述目标图像的L分量是指所述目标图像在所述LAB颜色空间的L分量；
将所述目标图像的L分量输入至所述编码器，得到所述目标光照向量；
或者，获取对应关系，所述对应关系至少包括所述目标图像与所述目标光照向量之间的映射关系；
根据所述对应关系，确定与所述目标图像对应的所述目标光照向量。
9.如权利要求1至6任一项所述的图像处理方法，其特征在于，在根据所述目标L分量，确定所述待处理图像的重光照图像之前，还包括：获取所述待处理图像的A分量和B分量，所述待处理图像的A分量是指所述待处理图像在所述LAB颜色空间的A分量，所述待处理图像的B分量是指所述待处理图像在所述LAB颜色空间的B分量；
所述根据所述目标L分量，确定所述待处理图像的重光照图像包括：将所述目标L分量、所述待处理图像的A分量和B分量进行组合，得到组合后图像；
根据所述组合后图像，确定所述待处理图像的重光照图像。
10.如权利要求9所述的图像处理方法，其特征在于，所述根据所述组合后图像，确定所述待处理图像的重光照图像包括：将所述组合后图像转换到红绿蓝颜色空间，得到所述待处理图像的重光照图像。
11.一种图像处理装置，其特征在于，所述图像处理装置包括：L分量获取模块，用于获取待处理图像的L分量，所述待处理图像的L分量是指所述待处理图像在LAB颜色空间的L分量；对所述待处理图像进行LAB分解，得到所述待处理图像的L分量；
光照向量获取模块，用于获取目标光照向量；
目标分量确定模块，用于根据所述待处理图像的L分量和所述目标光照向量，确定目标L分量；
重光照图像确定模块，用于根据所述目标L分量，确定所述待处理图像的重光照图像；
所述目标分量确定模块包括：
分量输入单元，用于将所述待处理图像的L分量输入至已训练的深度学习模型中的编码器，得到所述待处理图像的图像特征；
参数输入单元，用于将所述待处理图像的图像特征和所述目标光照向量输入至所述深度学习模型中的解码器，得到所述目标L分量。
12.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至10任一项所述图像处理方法的步骤。
13.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10任一项所述图像处理方法的步骤。 说明书 : 图像处理方法、图像处理装置、终端设备及存储介质技术领域[0001] 本申请属于图像处理技术领域，尤其涉及一种图像处理方法、图像处理装置、终端设备及存储介质。背景技术[0002] 随着装配有高质量摄像头的智能手机的普及，人们能够以图像的形式随时记录自己的生活瞬间。虽然拍摄图像本身不再具有门槛，但是如何选择或者设置拍摄时的光照，仍然需要了解专业摄影知识。因此，为了协助非专业摄影者拍摄出具有美感的图像，有必要对所拍摄的图像进行重光照处理，改变所拍摄图像的光照效果。发明内容[0003] 本申请实施例提供了一种图像处理方法、图像处理装置、终端设备及存储介质，以对图像进行重光照处理，改变图像的光照效果。[0004] 第一方面，本申请实施例提供了一种图像处理方法，所述图像处理方法包括：[0005] 获取待处理图像的L分量，所述待处理图像的L分量是指所述待处理图像在LAB颜色空间的L分量；[0006] 获取目标光照向量；[0007] 根据所述待处理图像的L分量和所述目标光照向量，确定目标L分量；[0008] 根据所述目标L分量，确定所述待处理图像的重光照图像。[0009] 第二方面，本申请实施例提供了一种图像处理装置，所述图像处理装置包括：[0010] L分量获取模块，用于获取待处理图像的L分量，所述待处理图像的L分量是指所述待处理图像在LAB颜色空间的L分量；[0011] 光照向量获取模块，用于获取目标光照向量；[0012] 目标分量确定模块，用于根据所述待处理图像的L分量和所述目标光照向量，确定目标L分量；[0013] 重光照图像确定模块，用于根据所述目标L分量，确定所述待处理图像的重光照图像。[0014] 第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述图像处理方法的步骤。[0015] 第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述图像处理方法的步骤。[0016] 第五方面，本申请实施例提供了一种计算机程序产品，当所述计算机程序产品在终端设备上运行时，使得所述终端设备执行如上述第一方面所述图像处理方法的步骤。[0017] 由上可见，本申请通过目标光照向量和表征待处理图像的光照信息的L分量，确定待处理图像的目标L分量，并基于该目标L分量，确定待处理图像的重光照图像，在此过程中基于目标光照向量对待处理图像的L分量进行转换，而保持待处理图像的其他特征(例如纹理特征)不变，从而能够较好地保留待处理图像的其他特征，提升待处理图像的重光照图像的质量。附图说明[0018] 为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。[0019] 图1是本申请实施例一提供的图像处理方法的实现流程示意图；[0020] 图2是本申请实施例二提供的图像处理方法的实现流程示意图；[0021] 图3是深度学习模型的训练过程示例图；[0022] 图4是本申请实施例三提供的图像处理方法的实现流程示意图；[0023] 图5是四个备选图像的示例图；[0024] 图6是本申请实施例四提供的图像处理装置的结构示意图；[0025] 图7是本申请实施例五提供的终端设备的结构示意图。具体实施方式[0026] 以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。[0027] 应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。[0028] 还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。[0029] 本申请实施例提供的图像处理方法可以应用于手机、平板电脑、可穿戴设备、车载设备、增强现实(augmentedreality，AR)/虚拟现实(virtualreality，VR)设备、笔记本电脑、超级移动个人计算机(ultra‑mobilepersonalcomputer，UMPC)、上网本、个人数字助理(personaldigitalassistant，PDA)等终端设备上，本申请实施例对终端设备的具体类型不作任何限制。[0030] 应理解，本实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。[0031] 为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。[0032] 参见图1，是本申请实施例一提供的图像处理方法的实现流程示意图，该图像处理方法应用于终端设备，如图所示该图像处理方法可以包括以下步骤：[0033] 步骤101，获取待处理图像的L分量。[0034] 其中，待处理图像的L分量是指待处理图像在LAB颜色空间的L分量。LAB颜色空间，也可以称之为LAB颜色模型，LAB颜色模型是根据国际照明委员会在1931年所制定的一种测定颜色的国际标准建立的。LAB颜色模型由三个要素组成，一个要素是亮度(即L分量)、另外两个要素是颜色通道(即A分量和B分量)，L分量表示图像中像素的亮度，A分量表示从红色到绿色的颜色范围，B分量表示从黄色到蓝色的颜色范围。[0035] 在获取待处理图像的L分量时，可以先获取待处理图像；然后检测待处理图像的颜色空间是否为LAB颜色空间；若待处理图像的颜色空间为LAB颜色空间，则对待处理图像进行LAB分解，分解后得到待处理图像的L分量、A分量和B分量；若待处理图像的颜色空间不是LAB颜色空间，则将待处理图像的颜色空间转换为LAB颜色空间，再对待处理图像进行LAB分解，分解后得到待处理图像的L分量、A分量和B分量。[0036] 其中，上述待处理图像可以是其他设备发送给终端设备的(例如终端设备向其他设备发送图像获取请求，其他设备在接收到图像获取请求后，向终端设备发送待处理图像)，也可以是终端设备本地采集的(例如手机上的摄像头采集的)，在此不做限定。[0037] 步骤102，获取目标光照向量。[0038] 其中，目标光照向量可以是指光照效果达到用户需求的光照向量。[0039] 上述目标光照向量可以是其他设备发送给终端设备的，也可以是终端设备本地获取的，在此不做限定。[0040] 在获取目标光照向量的一可选实施例中，终端设备可以向其他设备发送目标光照向量获取请求，其他设备在接收到目标光照向量获取请求后，向终端设备发送目标光照向量。[0041] 在获取目标光照向量的另一可选实施例中，终端设备可以先获取至少一张备选图像，并显示上述至少一张备选图像，在检测到用户对上述至少一张备选图像中某张备选图像的选择操作时，确定被选中的该备选图像为目标图像，获取该目标图像的光照向量，确定该目标图像的光照向量为待处理图像的目标光照向量。其中，上述至少一张备选图像可以是其他设备发送给终端设备的，也可以是终端设备本地存储的，在此不做限定。[0042] 步骤103，根据待处理图像的L分量和目标光照向量，确定目标L分量。[0043] 具体地，终端设备基于目标光照向量，将待处理图像的L分量转换为目标L分量，由于目标光照向量为光照效果达到用户需求的光照向量，那么基于目标光照向量得到的目标L分量表征的光照信息也能够达到用户需求。[0044] 作为一种示例，步骤103可以通过实施例二中的步骤203和步骤204实现。[0045] 步骤104，根据目标L分量，确定待处理图像的重光照图像。[0046] 其中，待处理图像的重光照图像可以是指改变待处理图像的光照效果后得到的图像。[0047] 待处理图像的重光照图像的L分量为目标L分量，该目标L分量是由待处理图像的L分量转换得到，该重光照图像的其他特征与待处理图像相同，能够使得重光照图像较好地保留待处理图像中的其他特征，进而提升重光照图像的质量。[0048] 作为一种示例，步骤104可以通过实施三中的步骤405和步骤406实现。[0049] 本申请实施例通过目标光照向量和表征待处理图像的光照信息的L分量，确定待处理图像的目标L分量，并基于该目标L分量，确定待处理图像的重光照图像，在此过程中基于目标光照向量对待处理图像的L分量进行转换，而保持待处理图像的其他特征(例如纹理特征)不变，从而能够较好地保留待处理图像的其他特征，提升待处理图像的重光照图像的质量。[0050] 参见图2，是本申请实施例二提供的图像处理方法的实现流程示意图，该图像处理方法应用于终端设备，如图所示该图像处理方法可以包括以下步骤：[0051] 步骤201，获取待处理图像的L分量。[0052] 该步骤与步骤101相同，具体可参见步骤101的相关描述，在此不再赘述。[0053] 步骤202，获取目标光照向量。[0054] 该步骤与步骤102相同，具体可参见步骤102的相关描述，在此不再赘述。[0055] 步骤203，将待处理图像的L分量输入至已训练的深度学习模型中的编码器，得到待处理图像的图像特征。[0056] 在本实施例中，通过将待处理图像的L分量输入至编码器，能够实现通过待处理图像的L分量，产生待处理图像的图像特征。其中，上述待处理图像的图像特征可以是指待处理图像的任一特征，在此不做限定，例如上述待处理图像的图像特征为待处理图像的纹理特征。[0057] 可选地，训练深度学习模型包括：[0058] 获取M组训练数据，M为正整数，一组训练数据包括第一图像、第一光照向量、第二图像和第二光照向量，第一光照向量是第一图像的光照向量，第二图像是使用第二光照向量对第一图像进行渲染，得到的图像；[0059] 对于第i组训练数据，第i组训练数据是M组训练数据中的任一组训练数据，分别获取第i组训练数据中第一图像和第二图像的L分量，第一图像的L分量是指第一图像在LAB颜色空间的L分量，第二图像的L分量是指第二图像在LAB颜色空间的L分量；[0060] 将第一图像的L分量输入至编码器，得到第一图像的图像特征和预测光照向量；[0061] 将第一图像的图像特征和第二光照向量输入至解码器，得到预测L分量；[0062] 根据预测光照向量、第一光照向量、第二图像的L分量和预测L分量，更新深度学习模型中的模型参数；[0063] 若检测到深度学习模型收敛，则停止更新深度学习模型中的模型参数，并确定停止更新时深度学习模型的模型参数为深度学习模型的目标模型参数。[0064] 其中，上述M组训练数据可以理解为深度学习模型的训练样本，用于对深度学习模型进行训练，本实施例中的深度学习模型包括编码器和解码器，对深度学习模型进行训练，可以理解对深度学习模型中的编码器和解码器进行训练。[0065] 使用第二光照向量对第一图像进行渲染得到第二图像，具体可以是指：基于预设渲染算法，使用第二光照向量对第一图像进行渲染，渲染后所得图像为第二图像。其中，预设渲染算法可以是指预先存储在终端设备中的任一渲染算法，例如Lambertian假设法。[0066] 获取第i组训练数据中第一图像的L分量，具体可以是：检测第一图像的颜色空间是否为LAB颜色空间；若第一图像的颜色空间为LAB颜色空间，则对第一图像进行LAB分解，得到第一图像的L分量、A分量和B分量；若第一图像的颜色空间不是LAB颜色空间，则先将第一图像的颜色空间转换为LAB颜色空间，再对已转换为LAB颜色空间的第一图像进行LAB分解，得到第一图像的L分量、A分量和B分量。需要说明的是，可以使用与第一图像的L分量相同的获取方式，获取第i组训练数据中的第二图像的L分量。其中，i为小于或等于M的正整数。[0067] 本实施例通过将第一图像的L分量输入至编码器，能够实现通过第一图像的L分量，产生第一图像的图像特征和预测光照向量。其中，预测光照向量可以是指将第一图像的L分量输入至编码器之后，编码器输出的光照向量。[0068] 本实施例通过将第一图像的图像特征和第二光照向量输入至解码器，能够实现通过第一图像的图像特征和第二光照向量，产生预测L分量。其中，预测L分量可以是指将第一图像的图像特征和第二光照向量输入至解码器之后，解码器输出的L分量。[0069] 其中，上述目标模型参数可以是指已训练的深度学习模型的模型参数。[0070] 可选地，根据预测光照向量、第一光照向量、第二图像的L分量和预测L分量，更新深度学习模型中的模型参数包括：[0071] 根据预测光照向量和第一光照向量，确定第一损失函数；[0072] 根据第二图像的L分量和预测L分量，确定第二损失函数；[0073] 根据第一损失函数和第二损失函数，更新深度学习模型中的模型参数。[0074] 其中，第一损失函数可以是L2范数损失函数，第一损失函数是向量间的损失函数，使用L2范数损失函数表示第一损失函数能够加快收敛速度。L2范数损失函数的表达式为：X表示第一光照向量的集合，Y表示预测光照向量的集合，|X|表示第一光照向量的数量。[0075] 第二损失函数可以是L1范数损失函数，第二损失函数是矩阵间的损失函数，使用L1范数损失函数能够更好地保留细节特征。L1范数损失函数的表达式为H表示第二图像的L分量的集合，T表示预测L分量的集合，|H|表示第二图像的L分量的数量。[0076] 对第一损失函数和第二损失函数进行加权求和，可以得到深度学习模型的目标损失函数 根据目标损失函数可以求取模型参数的梯度，通过反传(即该深度学习模型为前馈网络结构)该梯度，可以实现对该模型参数的更新。其中，目标损失函数的表达式为 α和β为权重，用于调整第一损失函数和第二损失函数对目标损失函数的影响，可以根据经验值设置α和β。[0077] 其中，上述深度学习模型收敛的判定条件可以为如下三种方式中的任一方式：模型参数的更新次数达到预设次数、目标损失函数小于预定值或者目标损失函数不再有下降趋势。[0078] 如图3所示是深度学习模型的训练过程示例图，分别对第一图像和第二图像进行LAB分解，得到第一图像的L分量和第二图像的L分量；将第一图像的L分量输入至编码器，编码器输出第一图像的图像特征和预测光照向量；根据第一光照向量和预测光照向量，确定第一损失函数；将第一图像的图像特征和第二光照向量输入至解码器，解码器输出预测L分量；根据第二图像的L分量和预测L分量，确定第二损失函数；通过第一损失函数和第二损失函数，更新深度学习模型的模型参数，[0079] 可选地，获取M组训练数据包括：[0080] 获取S张第一图像，S为正整数；[0081] 获取S张第一图像各自的第一光照向量，得到S个第一光照向量；[0082] 从S个第一光照向量中，确定K个第二光照向量，K为小于或等于S的正整数；[0083] 对于第j张第一图像，第j张第一图像是S张第一图像中的任一第一图像，使用K个第二光照向量分别对第j张第一图像进行渲染，得到第j张第一图像对应的K张第二图像；[0084] 根据第j张第一图像、第j张第一图像的第一光照向量、K张第二图像和K个第二光照向量，确定第j张第一图像对应的K组训练数据；[0085] 根据S张第一图像各自对应的K组训练数据，确定M组训练数据，M＝K*S。[0086] 其中，S张第一图像的获取方式包括但不限于从其他设备中获取、从终端设备本地存储的图像中获取或者从图像数据集(例如CelebA数据集或者Place365数据集)中获取。[0087] 在本实施例中，由于球谐函数(SphericalHarmonics，SH)系数是图像的光照信息的一种表现形式，故可以通过SH系数表示第一光照向量。例如，在第一图像的颜色空间为红绿蓝(RedGreenBlue，RGB)颜色空间时，基于预设设置的向量提取算法，获取第一图像的RGB三通道各自对应的一组SH系数，由于一组SH系数的个数通常是无限的，且在一组SH系数的集合中位置越靠前的SH系数，对第一光照向量的影响越大，故在获取第一图像的第一光照向量时，可以提取RGB三通道各自对应的一组SH系数的前k位，将所提取的RGB三通道各自的SH系数的前k位进行级联，级联后形成3*k维的向量，该向量即为第一图像的第一光照向量，用于表示第一图像的光照信息。其中，k为正整数，例如k的取值为9。上述向量提取算法用于提取第一图像的RGB三通道各自对应的一组SH系数，例如上述向量提取算法为从阴影恢复形状网络(ShapeFromShadingNet，SFSNet)。[0088] 在本实施例中，可以从S个第一光照向量中，随机选择K个第一光照向量作为第二光照向量，即得到K个第二光照向量。可选地，根据第j张第一图像、第j张第一图像的第一光照向量、K张第二图像和K个第二光照向量，确定第j张第一图像对应的K组训练数据包括：[0089] 对于第p张第二图像，第p张第二图像是使用第p个第二光照向量对第j张第一图像进行渲染得到的，第p个第二光照向量为K个第二光照向量中的任一第二光照向量，确定第j张第一图像、第j张第一图像的第一光照向量、第p张第二图像和第p个第二光照向量为第p张第二图像对应的训练数据；[0090] 根据K张第二图像各自对应的训练数据，确定第j张第一图像对应的K组训练数据。[0091] 在本实施例中，通过分别使用K个第二光照向量对第j张第一图像进行渲染，能够得到第j张第一图像对应的K组训练数据，即一张第一图像对应K组训练数据，那么S张第一图像就对应K*S组训练数据。即本实施例通过少量的第一图像，可以得到较多的训练数据，实现对训练数据的扩充。另外，在构建训练数据时，通过改变第一图像L分量，而不改变第一图像的其他特征，使得深度学习模型能够更好地区分光照信息。[0092] 可选地，在将待处理图像的L分量输入至已训练的深度学习模型中的编码器之前，还包括：[0093] 获取待处理图像所属场景；[0094] 根据待处理图像所属场景，确定深度学习模型。[0095] 由于不同场景的图像，其所需要的光照可能不同，故为了较为准确地预测不同场景的图像的目标L分量，可以预先设置场景与模型的对应关系，该对应关系至少包括待处理图像所属场景与深度学习模型之间的映射关系，在获取到待处理图像所属场景后，从上述对应关系中，确定待处理图像所属场景对应的深度学习模型，使用该深度学习模型获取待处理图像的目标L分量。[0096] 需要说明的是，对于不同场景所对应的深度学习模型，为了提高深度学习模型预测的目标L分量的准确性，在训练深度学习模型时，可以使用属于不同场景的训练数据进行训练。例如，使用属于人像场景的训练数据(即该训练数据中的第一图像包含清晰度满足预设条件的人像)对深度学习模型A进行训练，深度学习模型A为人像场景对应的深度学习模型；使用属于风景场景的训练数据(即该训练数据中的第一图像为包括风景的图像)对深度学习模型B进行训练，深度学习模型B为风景场景对应的深度学习模型。[0097] 步骤204，将待处理图像的图像特征和目标光照向量输入至深度学习模型中的解码器，得到目标L分量。[0098] 在本实施例中，通过将待处理图像的图像特征和目标光照向量输入至解码器，能够实现通过待处理图像的图像特征和目标光照向量，产生待处理图像的目标L分量。[0099] 步骤205，根据目标L分量，确定待处理图像的重光照图像。[0100] 该步骤与步骤104相同，具体可参见步骤104的相关描述，在此不再赘述。[0101] 作为一种示例，步骤205可以通过实施三中的步骤405和步骤406实现。[0102] 在实施例一的基础上，本申请实施例通过将待处理图像的L分量输入至深度学习模型，相当于人为加入先验，约束了深度学习模型的学习方向，降低了学习难度。另外，本实施例中的深度学习模型为前馈网络，基于前馈网络进行重光照处理，无需对待处理图像进行图像分解，提升了重光照处理的效率和光照效果，在图像的智能美化、自动编辑等领域具有较大的应用潜力。[0103] 参见图4，是本申请实施例三提供的图像处理方法的实现流程示意图，该图像处理方法应用于终端设备，如图所示该图像处理方法可以包括以下步骤：[0104] 步骤401，获取待处理图像的L分量、A分量和B分量。[0105] 该步骤的实现方式，具体可参见步骤104的相关描述，在此不再赘述。[0106] 步骤402，获取目标光照向量。[0107] 该步骤与步骤102相同，具体可参见步骤102的相关描述，在此不再赘述。[0108] 可选地，在获取目标光照向量之前，还包括：[0109] 获取目标图像；[0110] 获取目标光照向量包括：[0111] 根据目标图像，确定目标光照向量。[0112] 值得说明的是，在图1、图2和图4所示的实施例中，在获取目标光照向量时，可以先获取光照较好或者光照效果达到用户需求的目标图像，再根据该目标图像，确定待处理图像的目标光照向量。其中，在获取目标图像时，具体可以是：在终端设备中显示至少一个备选图像，用户从上述至少一个备选图像中选择目标图像。如图5所示是四个备选图像的示例图，在检测到用户长按某个备选图像时，确定该备选图像为目标图像。[0113] 可选地，根据目标图像，确定目标光照向量包括：[0114] 获取目标图像的L分量，目标图像的L分量是指目标图像在LAB颜色空间的L分量；[0115] 将目标图像的L分量输入至编码器，得到目标光照向量；[0116] 或者，获取对应关系，对应关系至少包括目标图像与目标光照向量之间的映射关系；[0117] 根据对应关系，确定与目标图像对应的目标光照向量。[0118] 在本实施例中，可以通过深度学习模型中的编码器获取目标光照向量，也可以通过预先设置上述对应关系，根据上述对应关系获取目标光照向量。其中，上述深度学习模型为实施例二中的深度学习模型。[0119] 在一实施例中，可以根据目标图像的来源，确定目标光照向量的获取方式，例如在目标图像为终端设备的系统提供的图像(即终端设备在出厂时自带的图像)时，可以根据上述对应关系获取目标光照向量；在目标图像为终端设备的相册中的图像时，可以通过深度学习模型中的编码器获取目标光照向量。[0120] 步骤403，将待处理图像的L分量输入至已训练的深度学习模型中的编码器，得到待处理图像的图像特征。[0121] 该步骤与步骤203相同，具体可参见步骤203的相关描述，在此不再赘述。[0122] 步骤404，将待处理图像的图像特征和目标光照向量输入至深度学习模型中的解码器，得到目标L分量。[0123] 该步骤与步骤204相同，具体可参见步骤204的相关描述，在此不再赘述。[0124] 步骤405，将目标L分量、待处理图像的A分量和B分量进行组合，得到组合后图像。[0125] 由于目标L分量、待处理图像的A分量和B分量聚为单通道矩阵，故将目标L分量、待处理图像的A分量和B分量进行组合，可以理解为目标L分量、待处理图像的A分量和B分量在通道维度上进行级联，组成三通道矩阵。[0126] 步骤406，根据组合后图像，确定待处理图像的重光照图像。[0127] 其中，由于组合后图像是将目标L分量、待处理图像的A分量和B分量进行组合得到，故组合后图像的颜色空间为LAB颜色空间。[0128] 在本实施例中，通过对待处理图像的L分量进行处理，得到目标L分量，而在重光照图像中保持待处理图像的A分量和B分量不变，能够在重光照图像中更好地保留待处理图像的纹理特征，提高重光照图像的质量。另外，L分量表征光照信息，通过改变待处理图像的L分量获取目标L分量，能够降低目标L分量获取过程中的冗余信息(例如待处理图像的A分量和B分量)干扰。[0129] 可选地，根据组合后图像，确定待处理图像的重光照图像包括：[0130] 将组合后图像转换到红绿蓝颜色空间，得到待处理图像的重光照图像。[0131] 由于人眼能够感知的颜色空间为RGB颜色空间，故在显示待处理图像的重光照图像之前，需要先将组合后图像的颜色空间由LAB颜色空间转换为RGB颜色空间，然后再显示待处理图像的重光照图像。其中，颜色空间转换后的图像即为待处理图像的重光照图像。[0132] 在实施例二的基础上，本申请实施例通过将组合后图像转换到RGB颜色空间，可以确保得到的重光照图像为RGB图像，便于人眼感知。[0133] 参见图6，是本申请实施例四提供的图像处理装置的结构示意图，为了便于说明，仅示出了与本申请实施例相关的部分。[0134] 上述图像处理装置包括：[0135] L分量获取模块61，用于获取待处理图像的L分量，所述待处理图像的L分量是指所述待处理图像在LAB颜色空间的L分量；[0136] 光照向量获取模块62，用于获取目标光照向量；[0137] 目标分量确定模块63，用于根据所述待处理图像的L分量和所述目标光照向量，确定目标L分量；[0138] 重光照图像确定模块64，用于根据所述目标L分量，确定所述待处理图像的重光照图像。[0139] 可选地，上述目标分量确定模块63包括：[0140] 分量输入单元，用于将所述待处理图像的L分量输入至已训练的深度学习模型中的编码器，得到所述待处理图像的图像特征；[0141] 参数输入单元，用于将所述待处理图像的图像特征和所述目标光照向量输入至所述深度学习模型中的解码器，得到所述目标L分量。[0142] 可选地，上述图像处理装置还包括：[0143] 训练数据获取模块，用于获取M组训练数据，M为正整数，一组训练数据包括第一图像、第一光照向量、第二图像和第二光照向量，所述第一光照向量是所述第一图像的光照向量，所述第二图像是使用所述第二光照向量对所述第一图像进行渲染，得到的图像；[0144] 参数获取模块，用于对于第i组训练数据，所述第i组训练数据是所述M组训练数据中的任一组训练数据，分别获取所述第i组训练数据中第一图像和第二图像的L分量，所述第一图像的L分量是指所述第一图像在所述LAB颜色空间的L分量，所述第二图像的L分量是指所述第二图像在所述LAB颜色空间的L分量；[0145] 第一输入模块，用于将所述第一图像的L分量输入至所述编码器，得到所述第一图像的图像特征和预测光照向量；[0146] 第二输入模块，用于将所述第一图像的图像特征和所述第二光照向量输入至所述解码器，得到预测L分量；[0147] 参数更新模块，用于根据所述预测光照向量、所述第一光照向量、所述第二图像的L分量和所述预测L分量，更新所述深度学习模型中的模型参数；[0148] 参数确定模块，用于若检测到所述深度学习模型收敛，则停止更新所述深度学习模型中的模型参数，并确定停止更新时所述深度学习模型的模型参数为所述深度学习模型的目标模型参数。[0149] 可选地，上述训练数据获取模块包括：[0150] 第一获取单元，用于获取S张第一图像，S为正整数；[0151] 第二获取单元，用于获取所述S张第一图像各自的第一光照向量，得到S个第一光照向量；[0152] 第一确定单元，用于从所述S个第一光照向量中，确定K个第二光照向量，K为小于或等于S的正整数；[0153] 图像渲染单元，用于对于第j张第一图像，所述第j张第一图像是所述S张第一图像中的任一第一图像，使用所述K个第二光照向量分别对所述第j张第一图像进行渲染，得到所述第j张第一图像对应的K张第二图像；[0154] 第二确定单元，用于根据所述第j张第一图像、所述第j张第一图像的第一光照向量、所述K张第二图像和所述K个第二光照向量，确定所述第j张第一图像对应的K组训练数据；[0155] 第三确定单元，用于根据所述S张第一图像各自对应的K组训练数据，确定所述M组训练数据，M＝K*S。[0156] 可选地，上述第二确定单元具体用于：[0157] 对于第p张第二图像，所述第p张第二图像是使用第p个第二光照向量对所述第j张第一图像进行渲染得到的，所述第p个第二光照向量为所述K个第二光照向量中的任一第二光照向量，确定所述第j张第一图像、所述第j张第一图像的第一光照向量、所述第p张第二图像和所述第p个第二光照向量为所述第p张第二图像对应的训练数据；[0158] 根据所述K张第二图像各自对应的训练数据，确定所述第j张第一图像对应的K组训练数据。[0159] 可选地，上述图像处理装置还包括：[0160] 场景获取模块，用于获取所述待处理图像所属场景；[0161] 模型确定模块，用于根据所述待处理图像所属场景，确定所述深度学习模型。[0162] 可选地，上述图像处理装置还包括：[0163] 目标图像获取模块，用于获取目标图像；[0164] 上述光照向量获取模块62具体用于：[0165] 根据所述目标图像，确定所述目标光照向量。[0166] 可选地，上述光照向量获取模块62具体用于：[0167] 获取所述目标图像的L分量，所述目标图像的L分量是指所述目标图像在所述LAB颜色空间的L分量；[0168] 将所述目标图像的L分量输入至所述编码器，得到所述目标光照向量；[0169] 或者，获取对应关系，所述对应关系至少包括所述目标图像与所述目标光照向量之间的映射关系；[0170] 根据所述对应关系，确定与所述目标图像对应的所述目标光照向量。[0171] 可选地，上述图像处理装置还包括：[0172] AB分量获取模块，用于获取所述待处理图像的A分量和B分量，所述待处理图像的A分量是指所述待处理图像在所述LAB颜色空间的A分量，所述待处理图像的B分量是指所述待处理图像在所述LAB颜色空间的B分量；[0173] 上述重光照图像确定模块64包括：[0174] 分量组合单元，用于将所述目标L分量、所述待处理图像的A分量和B分量进行组合，得到组合后图像；[0175] 图像确定单元，用于根据所述组合后图像，确定所述待处理图像的重光照图像。[0176] 可选地，上述图像确定单元具体用于：[0177] 将所述组合后图像转换到红绿蓝颜色空间，得到所述待处理图像的重光照图像。[0178] 本申请实施例提供的图像处理装置可以应用在前述方法实施例中，详情参见上述方法实施例的描述，在此不再赘述。[0179] 图7是本申请实施例五提供的终端设备的结构示意图。如图7所示，该实施例的终端设备7包括：至少一个处理器70(图7中仅示出一个)、存储器71、存储在存储器71中并可在至少一个处理器70上运行的计算机程序72，处理器70执行计算机程序72时实现上述任意各个图像处理方法实施例中的步骤。[0180] 终端设备7可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图7仅仅是终端设备7的举例，并不构成对终端设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。[0181] 所称处理器70可以是中央处理单元(CentralProcessingUnit，CPU)，该处理器70还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field‑ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。[0182] 存储器71在一些实施例中可以是终端设备7的内部存储单元，例如终端设备7的硬盘或内存。存储器71在另一些实施例中也可以是终端设备7的外部存储设备，例如终端设备7上配备的插接式硬盘，智能存储卡(SmartMediaCard,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(FlashCard)等。进一步地，存储器71还可以既包括终端设备7的内部存储单元也包括外部存储设备。存储器71用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如计算机程序的程序代码等。存储器71还可以用于暂时地存储已经输出或者将要输出的数据。[0183] 所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。[0184] 在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。[0185] 本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。[0186] 在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。[0187] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。[0188] 另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。[0189] 所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read‑OnlyMemory，ROM)、随机存取存储器(RandomAccessMemory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。[0190] 本申请实现上述实施例方法中的全部或部分流程，也可以通过一种计算机程序产品来完成，当所述计算机程序产品在终端设备上运行时，使得所述终端设备执行时实现可实现上述各个方法实施例中的步骤。[0191] 以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

专利地区：重庆

专利申请日期：2020-12-14

专利公开日期：2024-07-26

专利公告号：CN112489144B