图像自动白平衡的实现方法、装置及其芯片发明专利

专利名称：图像自动白平衡的实现方法、装置及其芯片

专利类型：发明专利

专利申请号：CN202210663161.3

专利申请（专利权）人：上海集成电路研发中心有限公司,上海集成电路装备材料产业创新中心有限公司
权利人地址：上海市浦东新区张江高科技园区高斯路497号

专利发明（设计）人：叶红磊,温建新,叶红波,蒋亮亮,姚清志

专利摘要：本发明提供了一种图像自动白平衡的实现方法、装置及其芯片，该方法包括：芯片的可编程逻辑模块从图像传感器获取原始图像对应的多通道图像；所述可编程逻辑模块对所述多通道图像进行像素值的统计，得到特征值；所述芯片的处理系统模块根据所述多通道图像的特征值得到白平衡的增益值；所述可编程逻辑模块基于所述多通道图像和所述增益值，对所述原始图像进行白平衡处理，得到目标图像。该方法具有集成度高、高速度和低延迟特点，能够满足图像数据统计的实时性要求。

主权利要求：
1.一种图像自动白平衡的实现方法，其特征在于，所述方法包括：芯片的可编程逻辑模块从图像传感器获取原始图像对应的多通道图像，其中包括：原始图像为RAW格式文件，芯片从图像传感器获取到原始图像后，将原始图像处理为多通道图像，所述多通道图像是指每个像素点用多个颜色分量来表示的图像；
所述可编程逻辑模块对所述多通道图像进行像素值的统计，得到特征值，其中包括：可编程逻辑模块通过特征提取网络实现对通道图像的像素的统计操作，从而获得特征值，所述特征提取网络包括一个或多个卷积核，通过卷积处理实现对通道图像的像素的统计操作；
所述芯片的处理系统模块根据所述多通道图像的特征值得到白平衡的增益值，其中包括：处理系统模块根据所述多通道图像的特征值输入神经网络模型得到白平衡的增益值，或者根据拍摄参数和多通道图像获得白平衡处理中所需的光源颜色信息计算得到白平衡的增益值；其中，处理系统模块基于特征值，完成图像自动白平衡算法中的增益的计算；在该步骤执行之前，可编程逻辑模块在完成一帧图像的统计计算后，可以发送中断信号至处理系统模块，从而触发处理系统模块执行上述操作；
所述可编程逻辑模块基于所述多通道图像和所述增益值，对原始图像进行白平衡处理，得到目标图像。
2.根据权利要求1所述的方法，其特征在于，所述可编程逻辑模块是采用Verilog或者VHDL实现的，所述处理系统模块是采用高层次综合HLS实现的。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
所述处理系统模块将所述目标图像对应的串行数据转成并行数据。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述芯片的处理系统模块根据所述多通道图像的特征值得到白平衡的增益值，包括：所述芯片的处理系统模块将所述多通道图像的特征值输入至神经网络模型得到白平衡的增益值，所述神经网络模型包括深度神经网络模型、卷积神经网络、长短期记忆网络模块或者循环神经网络模块中的一种或多种的融合。
5.一种图像自动白平衡的实现装置，所述装置用于执行如权利要求1 4任一项所述的~方法，其特征在于，所述装置包括：
可编程逻辑模块，用于从图像传感器获取原始图像对应的多通道图像；
所述可编程逻辑模块，还用于对所述多通道图像进行像素值的统计，得到特征值；
处理系统模块，用于根据所述多通道图像的特征值得到白平衡的增益值；
所述可编程逻辑模块，还用于基于所述多通道图像和所述增益值，对所述原始图像进行白平衡处理，得到目标图像。
6.根据权利要求5所述的装置，其特征在于，所述可编程逻辑模块是利用Verilog或者VHDL设计实现的，所述处理系统模块是利用高层次综合HLS设计实现的。
7.根据权利要求6所述的装置，其特征在于，所述处理系统模块还用于：将所述目标图像对应的串行数据转成并行数据。
8.一种芯片，其特征在于，用于执行如权利要求1至4中任一项所述的方法。 说明书 : 图像自动白平衡的实现方法、装置及其芯片技术领域[0001] 本发明涉及半导体集成电路设计领域，尤其涉及一种图像自动白平衡的实现方法、装置及其芯片。背景技术[0002] 高层次综合(highlevelsynthesis，HLS)包括编译、优化、调度、资源分配、控制器综合等步骤。高级语言经过编译和优化后，被转译为低层次的中间表达，并作为后续调度和资源分配等高层次综合步骤的输入。[0003] 目前高层次综合项目的研究热点主要放在调度、资源分配和控制器综合上，而将组合逻辑优化和工艺映射等步骤交给后续的现场可编程门阵列(fieldprogrammablegatearray，FPGA)逻辑综合工具来完成，因此由此可得，在高层次综合过程中，并未涉及针对设计中组合逻辑操作的深入优化，并且会忽略寄存器传输级以下的硬件底层信息。这样会造成两方面的问题：1、高层次综合过程中的组合逻辑操作并未进行深入优化，因此会存在冗余的组合逻辑操作，这样会导致在调度过程中为硬件设计分配过多的时钟周期，从而影响生成硬件的时序性能；2、由于高层次综合过程中未引入硬件底层信息，因此，为了避免高层次综合工具生成的硬件不满足设计的时序和资源要求，则必须对组合逻辑操作的时延和资源开销进行悲观估计，这样则会导致在调度过程中为设计分配不必要的时钟周期从而影响生成硬件的数据吞吐量，以及会导致在资源分配过程中为设计分配较少的硬件资源，从而降低了硬件设计的并行性以及影响了硬件的运行速度。[0004] 自动白平衡算法需要进行大量的数据统计，得到的统计数据再进行相关的算法计算，最终完成图片的自动白平衡。利用高层次综合语言实现做自动白平衡算法目前遇到的问题是：高层次综合是由高级语言通过工具转换而来，执行效率低，在进行大量图像统计的时候会统计错误，从而造成统计结果不正确。[0005] 因此，亟需一种图像自动白平衡的实现方法，以改善上述问题。发明内容[0006] 本发明提供一种图像自动白平衡的实现方法、装置及其芯片，用以基于软硬件协同实现图像自动白平衡。[0007] 第一方面，本发明提供一种图像自动白平衡的实现方法，该方法可以芯片的可编程逻辑模块从图像传感器获取原始图像对应的多通道图像；所述可编程逻辑模块对所述多通道图像进行像素的统计，得到特征值；所述芯片的处理系统模块根据所述多通道图像的特征值得到白平衡的增益值；所述可编程逻辑模块基于所述多通道图像和所述增益值，对所述多通道图像进行白平衡处理，得到目标图像。[0008] 本发明实施例提供的图像自动白平衡的实现方法有益效果如下：该方法使用AXI总线进行PS模块和PL模块内部互联，设计了图像自动白平衡计算的IP核，采用处理器驱动该IP核实现了PS模块和PL模块的实时数据交互，将图像采集、存储、目标检测、图像数据统计、显示输出等功能集成单芯片上，集成度高，高速度和低延迟的数字图像处理和数据传输能够满足图像数据统计的实时性要求，通过以上完成AWB算法的FPGA平台实现，并能够在FPGA平台运行，实时计算、修改AWB算法。[0009] 在一种可能的实现方案中，所述可编程逻辑模块是采用Verilog或者VHDL实现的，所述处理系统模块是采用HLS实现的。[0010] 在一种可能的实现方案中，所述处理系统模块将所述目标图像对应的串行数据转成并行数据。[0011] 在一种可能的实现方案中，所述芯片的处理系统模块根据所述多通道图像的特征值得到白平衡的增益值之前，还包括：所述可编程逻辑模块在完成一帧图像的统计计算后，向所述处理系统模块发送中断信号。[0012] 在一种可能的实现方案中，所述芯片的处理系统模块根据所述多通道图像的特征值得到白平衡的增益值，包括：[0013] 所述芯片的处理系统模块将所述多通道图像的特征值输入至神经网络模型得到白平衡的增益值，所述神经网络模型包括深度神经网络模型、卷积神经网络、长短期记忆网络模块或者循环神经网络模块中的一种或多种。[0014] 第二方面，本发明实施例还提供一种图像自动白平衡的实现装置，该装置包括执行上述第一方面的任意一种可能的设计的方法的模块/单元。这些模块/单元可以通过硬件实现，也可以通过硬件执行相应的软件实现。[0015] 第三方面，本发明实施例提供一种芯片，其中，存储器用于存储一个或多个程序；当存储器存储的一个或多个程序被处理器执行时，使得该芯片能够实现上述第一方面的任意一种可能的设计的方法。[0016] 第四方面，本发明实施例中还提供一种可读存储介质，可读存储介质包括程序，当程序在芯片上运行时，使得芯片执行上述任一方面的任意一种可能的设计的方法。[0017] 第五方面，本发明实施例还提供一种程序产品，当程序产品在芯片上运行时，使得芯片执行上述任一方面的任意一种可能的设计的方法。[0018] 关于上述第二方面至第五方面的有益效果可以参见上述第一方面中的描述，不再重复赘述。附图说明[0019] 图1为本发明实施例提供的一种终端设备结构示意图；[0020] 图2为本发明实施例提供的一种图像自动白平衡的实现方法流程示意图。具体实施方式[0021] 下面将结合附图，对本发明中的技术方案进行描述。[0022] 以下先对下文中涉及的部分用语进行解释说明，以便于本领域技术人员理解。[0023] (1)移动产业处理器接口(mobileindustryprocessorinterface，MIPI)联盟是MIPI联盟发起的为移动应用处理器制定的开放标准和一个规范。[0024] 也就是说，MIPI不只是一个联盟也是一套接口协议规范的名称。它下辖不同的工作组(WorkGroup)，以满足移动终端各个子系统的不同需求。不同的工作组负责制定具体的协议，并分别针对不同的硬件设备定义了一套移动设备内部接口标准，比如摄像头串行接口、显示串行接口、射频接口等。[0025] (2)原始图像是CMOS或CCD图像感应器将捕捉到的光源信号转化为数字信号的原始数据，一般为RAW格式文件。RAW格式文件是一种记录了数码相机传感器的原始信息，同时记录了由相机拍摄所产生的一些元数据(Metadata)，如感光度的设置、快门速度、光圈值、白平衡等的文件。[0026] (3)现场可编程门阵列(fieldprogrammablegatearray，FPGA)，是由许多的逻辑单元构成的逻辑器件，其中逻辑单元包括门、查找表和触发器，它具有丰富硬件资源、强大并行处理能力和灵活可重配置能力，在数据处理、通信、网络等很多领域得到了越来越多的广泛应用。FPGA是作为专用集成电路芯片(applicationspecificintegratedcircuit，ASIC)领域中的一种半定制电路而出现的，既解决了定制电路的不足，又克服了原有可编程器件门电路数有限的缺点。[0027] 随着手机芯片的快速发展，手机的拍照功能变得越来越丰富，用户对于手机拍摄出的图片的基础质量(颜色，清晰度等)提出了更高的要求。其中，颜色是评价手机拍照质量好坏的重要因素之一，而自动白平衡(autowhitebalance，AWB)又是图片颜色形成的重要一环。[0028] 人类视觉系统具有颜色恒常性特点，即人的视觉系统可以抵制这种光源颜色变化，从而恒定的感知物体的颜色。但是图像传感器(ImageSensor)在不同光线下，物体呈现的颜色不同，例如，在自然环境下，同一物体在不同颜色的光的照射下会呈现不同的颜色，比如绿色的树叶在晨光照射下偏黄色，而在傍晚时分却偏蓝色。为了消除光源对于图像传感器成像的影响，模拟人类视觉系统的颜色恒常性，保证在任何场景下看到的白色是真正的白色，需要引入自动白平衡技术。[0029] 白平衡是描述显示屏中红、绿、蓝三基色混合生成后白色精确度的一项指标，自动白平衡技术主要用于解决不同光源下图像偏色的问题，使得图像中景物的影像符合人眼的色彩视觉习惯。自动白平衡处理中的计算性颜色恒常正是致力于解决这一问题，它的主要目的是计算任意一幅图像所表征的未知光源的颜色，然后用该光源颜色对输入图像进行颜色校正，实现在标准的白光下的显示。[0030] 白平衡，它指的是在图像处理的过程中，对原本材质为白色的物体的图像进行色彩还原，去除外部光源色温的影响，使其在照片上也显示白色。目前的AWB(Automaticwhitebalance，自动白平衡)算法多种多样，通常是在当前帧通过灰色世界法和白色世界法，统计出灰色决策点和白色决策点，然后根据上一帧的决策点来计算当前帧的决策点决定当前帧的R_gain(红色增益)和B_gain(蓝色增益)。[0031] 本发明提供的基于软硬件协同实现图像自动白平衡，该方法一方面可以先利用传统的Verilog或者VHDL(一种硬件描述语言)来设计实现芯片中的PL(progarmmablelogic，可编程逻辑)模块，PL模块用于图像信息的接收、统计运算处理和输出；另一方面利用HLS来设计实现芯片中的PS(processingsystem，处理系统)模块，PS模块用于接收来自PL模块的像素的统计值，完成图像自动白平衡算法中的R_gain(红色增益)、B_gain(蓝色增益)、G_gain(绿色增益)的计算及相关算法的调整，该设计方案一方面可以保证图像统计的正确性，避免在进行大量图像统计的时候统计错误，另一方面可以提高自动白平衡算法的开发效率。[0032] 下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。其中，在本发明实施例的描述中，以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本发明的限制。如在本发明的说明书和所附权利要求书中所使用的那样，单数表达形式“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本发明以下各实施例中，“至少一个”、“一个或多个”是指一个或两个以上(包含两个)。术语“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。[0033] 在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本发明的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。术语“连接”包括直接连接和间接连接，除非另外说明。“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。[0034] 在本发明实施例中，“示例性地”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。[0035] 如图1所示，本发明提供一种图像处理终端，主要包括图像传感器10、芯片20、显示器30，该芯片20集成了PL(progarmmablelogic，可编程逻辑)模块201和PS(processingsystem，处理系统)模块202，这些部件可在一个或多个通信总线上通信。该芯片20的开发板上具有LVDS接口和HDMI接口，支持多种可扩展设备，图像传感器10通过LDVS接口与芯片20连接，显示器30通过HDMI接口与芯片20连接，实现图像数据的采集输入和显示输出。[0036] 图像传感器10用于采集图像信息，并将采集的图像转换为MIPI数据，通过MIPI接口发送MIPI数据到PL模块，PL模块201用于图像信息的接收、统计运算处理和输出；PS模块202用于接收来自PL模块的像素的统计值，完成图像自动白平衡算法中的R_gain(红色增益)、B_gain(蓝色增益)、G_gain(绿色增益)的计算及相关算法的调整。显示器30用于显示处理后的图像。[0037] 值得说明的是，MIPI数据可以是双通道，也可以多通道，MIPI数据还包括MIPICLK(时钟)信息。该MIPI数据可以为来自显示屏接口的数字语音内插(digital‑speechinterpolation，DSI)信号或者来自摄像头接口的CMOS图像传感器(CMOSImageSensor，CIS)信号，也可以是来自于移动终端其它MIPI接口的信号，该MIPI接口410可以为GTX、GTH等接口。[0038] 上述终端还可以包括存储器40，存储器40可以包括易失性存储器(VolatileMemory)，例如随机存取存储器(RandomAccessMemory，RAM)、高速缓存(cache)；存储器也可以包括非易失性存储器(Non‑VolatileMemory)，例如只读存储器(Read‑OnlyMemory，ROM)、快闪存储器(FlashMemory)、硬盘(HardDiskDrive，HDD)或固态硬盘(Solid‑StateDrive，SSD)；存储器40还可以包括上述种类的存储器的组合。存储器40可用于存储原始图像、白平衡处理后的目标图像、前后帧图像信息、拍摄参数、场景语义信息等数据；存储器40还可用于存储程序指令，以供处理器调用并执行本申请描述的图像自动白平衡的方法。[0039] 基于上述终端的各个部件，可通过以下过程来实现图像的自动白平衡：当终端的相机执行拍摄时，外界环境中的物体(人、物、景等)通过摄像头采集的光学图像投射到图像传感器10表面上，转化成电信号，电信号经过模数转换(A/D转换)后变为数字图像信号，该数字图像信号为原始图像。图像传感器10将原始图像送到芯片20中进行图像优化处理。在芯片20需要进行自动白平衡(autowhitebalance，AWB)时，芯片20中的PL模块201可利用输入信息计算神经网络模型，获得图像对应的光源颜色信息。进而将光源颜色信息反馈给PS模块202，PS模块202根据光源颜色信息完成AWB，以及执行其他方面的图像处理，得到目标图像，目标图像例如是YUV或者RGB格式的图像。然后，芯片20将目标图像送到显示器30进行显示。[0040] 上述终端可以为包含ASIC芯片的终端设备或者包含FPGA的终端设备，又或者是包含ASIC/FPGA的嵌入式系统。本发明中的包含ASIC/FPGA的终端设备也可以称为用户设备(userequipment，UE)、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置。本发明的实施例中的终端设备可以是手机(mobilephone)、平板电脑(Pad)、智能打印机、火车探测器、加油站探测器、带无线收发功能的电脑、虚拟现实(virtualreality，VR)终端设备、增强现实(augmentedreality，AR)终端设备、工业控制(industrialcontrol)中的无线终端、无人驾驶(selfdriving)中的无线终端、远程医疗(remotemedical)中的无线终端、智能电网(smartgrid)中的无线终端、运输安全(transportationsafety)中的无线终端、智慧城市(smartcity)中的无线终端、智慧家庭(smarthome)中的无线终端等等。本发明的实施例对应用场景不做限定。[0041] 应理解，图1仅为便于理解而示例的简化示意图，该终端中还可以包括图像信号处理器或者其它模块，图1中不再一一列出。[0042] 本发明实施例提供的一种图像自动白平衡的实现方法，该方法可以由图1所示的终端中的芯片20来执行。应理解，本发明中，由芯片20执行的步骤也可以具体由芯片20的一个或多个模块或部件执行。如图2所示，示出本发明实施例提供的一种图像自动白平衡的实现方法，该方法包括：[0043] S201，获取原始图像对应的多通道图像。[0044] 该步骤中，原始图像为RAW格式文件，芯片20从图像传感器10获取到原始图像后，可将原始图像处理为多通道图像，多通道(Multichannel)图像是指每个像素点可以用多个图像通道的值(或颜色分量)来表示的图像。图像通道在RGB色彩模式下就是指在下就是指那单独的红色(R)、绿色(G)、蓝色(B)部分。例如，在一个示例中，所述多通道图像具体可以是彩色三通道图像，例如RGB三多通道图像。[0045] S202，PL模块201对原始图像对应的多通道图像进行像素值的统计操作，得到特征值。[0046] 该步骤中，PL模块201可以通过运算电路实现特征提取，如通过特征提取网络实现对通道图像的像素的统计操作，从而获得特征值。特征提取网络可包括一个或多个卷积核，通过卷积处理实现对通道图像的像素的统计操作，从而获得所述特征值。[0047] S203，PS模块202获取所述多通道图像的特征值，根据所述多通道图像的特征值得到白平衡的增益值。[0048] 可选地，PS模块202根据所述多通道图像的特征值输入神经网络模型得到白平衡的增益值，或者根据拍摄参数和多通道图像获得白平衡处理中所需的光源颜色信息，例如图像光源值(r/g，1，b/g)，计算得到白平衡的增益值。在该步骤执行之前，PL模块201在完成一帧图像的统计计算后，可以发送中断信号至PS模块202，从而触发PS模块执行上述操作。[0049] 该步骤中，PS模块202可以基于特征值，可以完成图像自动白平衡算法中的R_gain(红色增益)、B_gain(蓝色增益)、G_gain(绿色增益)的计算。[0050] S204，PL模块201基于多通道图像和增益值，对所述原始图像进行白平衡处理，得到目标图像。[0051] 本实施例中描述的神经网络模型从类型上将可以是单个神经网络模型，也可以是两个或多个神经网络模型的组合。例如，神经网络模型可以是基于深度学习的方式构建的模型，例如可以是深度神经网络(deepneuralnetwork，DNN)模型、卷积神经网络(convolutionalneuronnetwork，CNN)、长短期记忆网络(LongShort‑TermMemory，LSTM)或者循环神经网络(RecurrentNeuralNetwork，RN)中的一种，或多种的融合，等等。[0052] 本实施例提供的神经网络模型能够根据拍摄参数和多通道图像获得白平衡处理中所需的光源颜色信息，例如图像光源值(r/g,1,b/g)，输出光源颜色信息后，终端可通过自身配置的芯片20利用该光源颜色信息对通道图像进行白平衡处理，从而实现对光源色温引起的图像色差的校正，以使得图像中物体的颜色接近其原本的颜色，图像整体呈现出的效果符合人眼的视觉习惯和认知习惯。[0053] 一般地，一帧数据由1080行组成，一行由1920个像素点组成，这样，芯片20接收了1080行串行有效数据后，就可以得到一帧数据，然后按照上述方法依次把串行有效数据最后转成类似于数字视频端口(digitalvideoport，DVP)形式的并行数据信号，以便于显示器30正确显示图像。[0054] 本申请通过以芯片20为载体，使用AXI总线进行PS模块和PL模块内部互联，设计了图像自动白平衡计算的IP核，采用处理器驱动该IP核实现了PS模块和PL模块的实时数据交互，将图像采集、存储、目标检测、图像数据统计、显示输出等功能集成单芯片上，集成度高，高速度和低延迟的数字图像处理和数据传输能够满足图像数据统计的实时性要求，通过以上完成AWB算法的FPGA平台实现，并能够在FPGA平台运行，实时计算、修改AWB算法。[0055] 本发明实施例还提供了一种可读介质，其上存储有程序，该程序被芯片执行时实现上述任一方法实施例所述方法。[0056] 本发明实施例还提供了一种程序产品，该程序产品被芯片执行时实现上述任一方法实施例所述方法。[0057] 以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。[0058] 总之，以上所述仅为本发明技术方案的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

专利地区：上海

专利申请日期：2022-06-13

专利公开日期：2024-06-18

专利公告号：CN115103173B