多帧等曝光图像的多阶段合成方法发明专利

多帧等曝光图像的多阶段合成方法

摘要：一种多帧等曝光图像的多阶段合成方法包括：在曝光不足的设定下捕获第一组帧；从第一组帧中选择第一关键帧；将第一组帧与第一关键帧对齐；将第一组帧合并成第一帧；在曝光不足的设定下捕获第二组帧；从第二组帧中选择第二关键帧；使第二组帧与第二关键帧对齐；将第二组帧合并成第二帧；基于第一关键帧和第二关键帧，选择主要组帧；基于主要组帧，将第一关键帧与第二关键帧对齐；以及基于主要组帧，合并第一关键帧和第二关键帧。

专利类型：发明专利

专利申请号：CN113962912A

专利申请（专利权）人：重庆市渝北区仙桃街道数据谷中路101号3单元2层
权利人地址：重庆市渝北区仙桃街道数据谷中路101号3单元2层

专利发明（设计）人：吴东晖,陈斌,岳家驹,王超

主权利要求:多帧等曝光图像的多阶段合成方法
技术领域
[0001] 本公开涉及突发帧，具体设计提供对突发图像帧的两阶段合并的方法。
背景技术
[0002] 如果没有噪音，则传统相机捕获的原始数据与照明条件、光圈大小、快门和国际标准化组织(ISO)大致成线性关系。考虑到利用固定相机所得的静态场景，所捕获的原始数据几乎与积分时间(快门)和/或ISO呈线性关系。这种线性特性使处理多个原始帧成为可能，以保留颜色外观和动态范围。
发明内容
[0003] 一种多帧等曝光图像的多阶段合成的示例方法包括：在曝光不足的设定下捕获第一组帧；从第一组帧中选择第一关键帧；将第一组帧(afirstgroupofframes)与第一关键帧对齐；基于第一关键帧，将第一组帧合并成第一帧；在曝光不足的设定下捕获第二组帧(asecond groupofframes)；从第二组帧中选择第二关键帧；将第二组帧与第二关键帧对齐；基于第二关键帧，将第二组帧合并成第二帧；基于第一关键帧和第二关键帧，选择主要组帧(amaingroupofframes)；基于主要组帧，将第一关键帧与第二关键帧对齐；以及基于主要组帧，合并第一关键帧和第二关键帧。
[0004] 其中在一个实施例中，所述的多帧等曝光图像的多阶段合成方法还包括：在所述曝光不足的设定下捕获下一个第一组帧；将所述第一组帧索引到所述下一个第一组帧，从而产生经索引的第一组帧；从所述下一个第一组帧中选择下一个第一关键帧；将所述下一个第一组帧与所述下一个第一关键帧对齐；基于所述下一个第一关键帧，将所述下一个第一组帧合并成下一个第一帧；在所述曝光不足的设定下捕获下一个第二组帧；将所述第二组帧索引到所述下一个第二组帧，从而产生经索引的第二组帧；从所述下一个第二组帧中选择下一个第二关键帧；将所述下一个第二组帧与所述下一个第二关键帧对齐；基于所述下一个第二关键帧，将所述下一个第二组帧合并成下一个第二帧；基于所述下一个第一关键帧和所述下一个第二关键帧，重新选择主要组帧；基于所述主要组帧，将所述下一个第一关键帧与所述下一个第二关键帧对齐；以及基于所述主要组帧，合并所述下一个第一关键帧和所述下一个第二关键帧。
[0005] 其中在一个实施例中，所述的多帧等曝光图像的多阶段合成方法还包括：将在所述曝光不足的设定下对另一个第一组帧的捕获索引为N；以及将在所述曝光不足的设定下对另一个第二组帧的捕获索引为N。
[0006] 其中在一个实施例中，所述的多帧等曝光图像的多阶段合成方法，还包括：将在所述曝光不足的设定下对另一个第一组帧的捕获迭代地索引为N；以及将在所述曝光不足的设定下对另一个第二组帧的捕获迭代地索引为N。
[0007] 其中在一个实施例中，所述第一组帧和所述第二组帧为原始数据。
[0008] 其中在一个实施例中，所述第一组帧和所述第二组帧是低动态范围。
[0009] 其中在一个实施例中，所述第一关键帧基于所述第一组帧中的最佳帧。
[0010] 其中在一个实施例中，所述第二关键帧基于所述第二组帧中的最佳帧。
[0011] 其中在一个实施例中，利用大致相等的曝光值来捕获所述第一组帧和所述第二组帧。
[0012] 其中在一个实施例中，对所述第一组帧进行缓存。
[0013] 其中在一个实施例中，对所述第二组帧进行缓存。
附图说明
[0014] 在附图中：
[0015] 图1是根据本公开的一个实施例的第一示例系统图；
[0016] 图2是根据本公开的一个实施例的第二示例系统图；
[0017] 图3是根据本公开的一个实施例的示例两阶段突发处理流程；
[0018] 图4是根据本公开的一个实施例的示例方法；以及
[0019] 图5是根据本公开的一个示例的另一示例方法。
具体实施方式
[0020] 以下列出的实施例仅是为了说明对本设备和方法的应用而进行的撰写，并不限制范围。对这种设备和方法的等同的修改形式应归入权利要求的范围内。
[0021] 在整个以下描述和权利要求书中，使用某些术语来指代特定系统部件。如本领域技术人员将领会的，不同的团体可用不同的名称来指代部件和/或方法。本文档不意在区分名称不同但功能相同的组件和/或方法。
[0022] 在以下论述和权利要求书中，术语“包括”和“包含”以开放式方式使用，因此可被解释为表示“包括但不限于……”。此外，术语“耦合”或“耦接”意在表示间接或直接连接。因此，如果第一装置连接到第二装置，则该连接可以是直接连接或经由其他装置和连接的间接连接。
[0023] 图1描绘了示例混合计算系统100，该混合计算系统100可用于实现与过程600的一个或多个部分或步骤的操作相关联的神经网络。在该示例中，与混合系统相关联的处理器包括现场可编程门阵列(FPGA)122、图形处理器单元(GPU)120和中央处理器(CPU)118。
[0024] CPU118、GPU120和FPGA122具有提供神经网络的能力。CPU是可执行许多不同功能的通用处理器，CPU的通用性导致了用以执行多种不同任务的能力。然而，CPU对多个数据流的处理受到限制，并且CPU相对于神经网络的功能受到限制。GPU是图形处理器，具有能够按顺序处理并行任务的许多小型处理核心。FPGA是一种现场可编程装置，FPGA具有被重新配置并且以硬连线电路的方式执行可被编程到CPU或GPU中的任意功能的能力。由于以电路形式对FPGA进行编程，因此其速度比CPU快许多倍，并且明显快于GPU。
[0025] 系统还可包含其他类型的处理器，诸如加速处理单元(APU)和数字信号处理器(DSP)，APU包括具有片上GPU元件的CPU，DSP被设计为用于执行高速数字数据处理。专用集成电路(ASIC)也可执行FPGA的硬连线功能。然而，用以设计和生产ASIC的前置时间(leadtime)大约为一年的若干个季度，而不是在对FPGA进行编程中可用的快速周转实施时间。
[0026] 连接有图形处理器单元120、中央处理器118和现场可编程门阵列122，并且图形处理器单元120、中央处理器118和现场可编程门阵列122连接到存储器接口和控制器112。FPGA通过可编程逻辑电路到存储器互连130连接到存储器接口。利用该额外的装置是因为FPGA在非常大的带宽下运行并且为了使FPGA用以执行存储任务所利用的电路最小化。存储器接口和控制器112另外地连接到永久存储器盘110、系统存储器114和只读存储器(ROM)116。

[0027] 图1的系统可用于对FPGA进行编程和训练。GPU与非结构化数据一起很好地运行，并且可用于训练，一旦训练了数据，就可找到确定性的推理模型，并且CPU可利用由GPU确定的模型数据对FPGA进行编程。
[0028] 存储器接口和控制器连接到中央互连124，中央互连另外连接到GPU120、CPU118和FPGA122。中央互连124另外连接到输入和输出接口128和网络接口126。
[0029] 图2描绘了第二示例混合计算系统200，该混合计算系统200可用于实现与过程1000的一个或多个部分或步骤的操作相关的神经网络。在该示例中，与混合系统相关的处理器包括现场可编程门阵列(FPGA)210和中央处理器(CPU)220。

[0030] FPGA电连接到FPGA控制器212，FPGA控制器212与直接存储器访问(DMA)218相连接。DMA连接到输入缓存器214和输出缓存器216，输入缓存器214和输出缓存器216耦合到FPGA以分别将数据缓冲到FPGA中以及将数据从FPGA缓冲出。DMA218包括两个先进先出(FIFO)缓存器，一个用于主CPU，另一个用于FPGA。DMA允许数据被写入适当的缓存器以及从适当的缓存器读取数据。
[0031] 在DMA的CPU侧的是主交换机228，主交换机228将数据和命令往返传送到DMA。DMA还连接到SDRAM控制器224，该SDRAM控制器224允许将数据从CPU220传送到FPGA并且允许数据从FPGA传送到CPU220。SDRAM控制器还连接到外部SDRAM226和CPU220。主交换机228连接到外围设备接口230。闪存控制器222控制持久性存储器，并连接到CPU220。

[0032] 原始数据中的噪声与信号电平大致成正比。较高的感光度(ISO)可能会导致较高的噪声，该较高的噪声可通过传感器特性进行校准。这可能导致一种区分噪音和运动对象的方法。较长的积分时间可能会导致运动模糊。
[0033] 原始数据在被传感器或相机捕获后几乎没有进行任何数字处理，因此可允许保留原始图像信息，这有助于进行可能的后处理和图像调整。
[0034] 原始数据可通过内置于大多数移动电话的数字单镜头反光(DSLR)相机或互补金属氧化物半导体(CMOS)图像传感器来捕获。
[0035] 利用预定的短曝光值(EV)，可捕获F帧的短曝光原始数据。图像处理可包括原始域中的图像对齐和合并。对齐和合并之后，这些关键步骤的输出可保留其原始格式。可采用常规的图像信号处理器用于去噪。关于高动态范围(HDR)图像，可依赖于色调映射或曝光融合方法。
[0036] 全局对齐的帧可表示为Imi(x),i＝1,2,…,F。合并操作可表示为局部变化加权，如式(1)：
[0037]
[0038] 其中，si表示第i帧的局部变化对齐参数。加权可增加在校正由计算误差、局部移动对象或帧之间的遮挡引起的全局对准误差时的鲁棒性。
[0039] 原始数据线性特性和噪声可区分性可允许实现累加、加权求和等。可将累加的图像归一化为局部变化权重。另一全局归一化因子K可促进动态范围扩展和降噪之间的灵活使用。合并的图像可表示为式(2)：
[0040]
[0041] 由于利用相同的EV捕获突发图像，因此可将每帧中的信号视为具有可比性。在大多数区域中，不同帧之间的权重也具有可比性，因此可通过对所有1≤i≤F取Wi＝1来简化对K的分析。因此，合并的图像变为式(3)：
[0042]
[0043] 当归一化因子K为1时，合并后的图像具有与每个输入图像相同的信号电平，这实质上是输入图像的去噪版本；输出的等效EV值与输入的突发图像相同。
[0044] 当归一化因子K小于1时，合并图像的最大值是输入的单个图像的最大值的约1/K倍。在一示例中，当K＝0.25时，合并图像的动态范围是单个图像的约4倍。K和F的乘积通常大于1，否则简单的合并图像可能会成为对具有数字增益1/(KF)的图像求和，这将增加信号电平而没有实际好处。
[0045] 当归一化因子K等于1/F时，简单的合并图像是对输入图像求和，这近似于较长的曝光(单个短曝光的F倍)，但是保留了高光细节，即动态范围被扩展了F倍。与单个输入图像相比，等效EV值增加了约log2(F)。
[0046] 在突发原始图像处理中，可首先选择关键帧作为主帧。该选择通常基于突发帧中的最佳帧，在其他示例中，该选择可基于最高信噪比、最大对比度等。
[0047] 原始帧的突发处理利用允许信号电平可伸缩的数据线性度，其可将信号电平模拟为较长的曝光以扩展动态范围。可测量的噪声水平可在区分噪声和运动重影时提高合并操作的精度。
[0048] 如果突发序列中有F帧，则可将前F‑1帧放入缓存区。当接收到第F帧数据时，可实现主帧选择、对准和合并。
[0049] F可因式分解成F＝M×N，M、N＞1。这可允许将图像序列均匀地分组为M个组，每组中具有N个帧。对于组1，可利用公共突发处理单元来产生去噪的或高动态范围(HDR)的原始图像，并将其发送到阶段2缓存区。组1中的缓存区大小为N‑1个帧。在完成针对组1的处理后，可将所得的原始数据发送到阶段2缓存区，并且可释放阶段1缓存区并使阶段1缓存区准备好以供组2使用。以该方式，可针对每个组刷新阶段1缓存区。
[0050] 当组M中的去噪的或高动态范围(HDR)的原始数据被存储时，在阶段2缓存区中打开M‑1帧以供使用。可将数据输入到第二阶段处理单元，其中第二处理流程与第一阶段几乎相同。第二阶段的输入帧是来自第一阶段的输出帧，而不是通过相机捕获的直接原始数据，但具有相同的数据结构。第一阶段中的主帧选择操作可基于通过相机捕获的直接原始数据，而第二阶段中的主帧选择操作可基于第一阶段的输出。如果第一阶段处理突发帧超过去噪范围，使得扩展了阶段1输出的动态范围，则第二阶段的位宽可高于第一阶段的位宽。主要组或帧选择、对齐和合并块也可以以较高的位宽进行操作。

[0051] 两阶段框架的总帧缓存区为大约M+N‑2帧。两阶段处理如图3中所示。突发原始帧结构适用于处理具有可测量噪声水平的线性数据。
[0052] 突发处理单元在线性域中输出数据，这可由式(2)所示。处理单元共享相同的结构和控制参数，因此阶段1的不同组中所得数据的动态范围也可相同。
[0053] 第一阶段中输出的噪声水平可以是可预测的。如果原始传感器的原始数据的噪声2 2
水平或方差为σ，并且所提供的组中来自N个帧的信息具有可比性，则噪声方差可以为Nσ。
如果是高动态范围(HDR)处理，则式(3)中的KF＝1。如果是去噪处理，则在式(3)中K＝1，并且噪声的方差变为 如果该方法同时对数据进行消噪并输出高动态范围(HDR)数据，则在式(3)中1>K>1/F，然后方差下降至大约

[0054] 如果将总帧数F因式分解为两个因子M和N，其中M和N两者都大于1，则可将帧缓存区从F‑1＝MN‑1帧减少到M+N‑2帧。因此，对于M>1和N>1的整数，M+N‑2小于MN‑1。为了最有效地利用缓存区，在给定F值的情况下，值M和N越接近，缓存区越小。
[0055] 该处理可扩展到包括附加的阶段。例如，如果将F因式分解使得因子值大于1，则F＝N1N2…Nk，其中Ni>1。第k阶段流程单元可处理Nk个帧，并且帧缓存区大小将为因此，与两阶段处理相比，缓存区大小可进一步减小。
[0056] 图3描绘了两个阶段，阶段1、310和阶段2、312。阶段1，组1的帧被分为帧1、314，帧2、316，帧N‑1、318和帧N，320。组1的帧1、帧2和帧N‑1被路由到具有N‑1个帧的阶段1缓存区
346中。主帧选择模块354从阶段1缓存区346接收帧，并从组1接收帧N、320。主帧选择模块
354根据特定标准选择一个帧，在该示例中选择最佳帧，并且将数据路由到对齐和合并模块
362，该对齐和合并模块362输出去噪的原始或HDR帧。帧选择模块可使用其他选择标准，诸如最高信噪比、最大对比度等。

[0057] 组2由帧1、322，帧2、324，帧N‑1326和帧N，328组成。组2的帧1、帧2和帧N‑1被路由到具有N‑1个帧的阶段1缓存区348中。主帧选择模块356从阶段1缓存区348接收帧，并从组2接收帧N，328。主帧选择模块356选择最佳帧，并将数据路由到对齐和合并模块364，对齐和合并模块364输出去噪的或HDR的原始帧。
[0058] 组M‑1被分为帧1、330，帧2、332，帧N‑1、334和帧N，336。组2的帧1、帧2和帧N‑1被路由到具有N‑1个帧的阶段1缓存区350中。主帧选择模块358从阶段1缓存区350接收帧，并从组M‑1接收帧N，336。主帧选择模块358选择最佳帧，并将数据路由到对齐和合并模块366，该对齐和合并模块366输出去噪的或HDR的原始帧。
[0059] 组M被分为帧1、338，帧2、340，帧N‑1、342和帧N，344。组M的帧1、帧2和帧N‑1被路由到具有N‑1个帧的阶段1缓存区352中。主帧选择模块360从阶段1缓存区352接收帧，并从组M接收帧N，344。主帧选择模块360选择最佳帧，并将数据路由到对齐和合并模块368，该对齐和合并模块368输出去噪的或HDR的原始帧。
[0060] 由M‑1个帧组成的阶段2缓存区370从对齐和合并模块362、对齐和合并模块364和对齐和合并模块366接收数据。主要组选择模块372从阶段2缓存区370以及对齐和合并模块368接收输出。主要组选择模块372向阶段2的对齐和合并模块374进行输出，该对齐和合并模块374输出最终的去噪的或HDR的原始数据。

[0061] 随着阶段的数量的增加并且阶段的数量应用于HDR处理，后阶段中的帧缓存区将比开始阶段中的帧缓存区具有更高的位宽。
[0062] 图4描绘了多帧等曝光图像的多阶段合成的示例性方法，该方法包括：在曝光不足的设定下捕获410第一组帧；从第一组帧中选择412第一关键帧；将第一组帧与第一关键帧对齐414；以及基于第一关键帧，将第一组帧合并416成第一帧。该示例方法还包括：在曝光不足的设定下捕获418第二组帧；从第二组帧中选择420第二关键帧；将第二组帧与第二关键帧对齐422；以及基于第二关键帧将第二组帧合并424成第二帧。该示例方法还包括：基于第一关键帧和第二关键帧，选择426主要组帧；基于主要组帧，将第一关键帧与第二关键帧对齐428；以及基于主要组帧，合并430第一关键帧和第二关键帧。
[0063] 图5描绘了图4的示例方法，该示例方法还可包括：在曝光不足的设定下捕获510下一第一组帧；将第一组帧索引512到下一个第一组帧，从而产生经索引的第一组帧；从该下一个第一组帧中选择514下一个第一关键帧；将该下一个第一组帧与该下一个第一关键帧对齐516；以及基于该下一个第一关键帧，将下一个第一组帧合并518成下一个第一帧。该示例方法还可包括：在曝光不足的设定下捕获520下一个第二组帧；将第二组帧索引522到下一个第二组帧，从而产生经索引的第二组帧；从该下一个第二组帧中选择524下一个第二关键帧；将该下一个第二组帧与该下一个第二关键帧对齐526；以及基于该下一个第二关键帧，将下一个第二组帧合并528成下一个第二帧。该示例方法还可包括：基于下一个第一关键帧和下一个第二关键帧，重新选择530主要组帧；基于主要组帧，将下一个第一个关键帧与下一个第二关键帧对齐532；以及基于主要组帧，合并534下一个第一关键帧和下一个第二关键帧。
[0064] 该示例方法还可包括：将在曝光不足的设定下对另一个第一组帧的捕获索引为N；以及将在曝光不足的设定下对另一个第二组帧的捕获索引为N。

[0065] 该示例方法还可包括：将在曝光不足的设定下对另一个第一组帧的捕获迭代地索引为N；以及将在曝光不足的设定下对另一个第二组帧的捕获迭代地索引为N。第一组帧和第二组帧可由原始数据和/或低动态范围数据组成。第一关键帧可基于第一组帧内的最佳帧，第二关键帧可基于第二组帧内的最佳帧。可以以大致相等的曝光值来捕获第一组帧和第二组帧。可缓冲第一组帧和/或第二组帧。
[0066] 本领域技术人员将领会的是，本文所描述的各种说明性块、模块、元件、部件、方法和算法可被实现为电子硬件、计算机软件或两者的组合。为了说明硬件和软件的这种可互换性，以上已经根据其功能大体上描述了各种说明性的块、模块、元件、组件、方法和算法。将这样的功能实现为硬件还是软件取决于具体的应用和施加在系统上的设计约束条件。技术人员可针对每个具体的应用以不同方式来实现所描述的功能。在均不背离本主题技术的范围的情况下，各种部件和块可被不同地布置(例如，以不同的顺序布置或以不同的方式划分)。

[0067] 应当理解的是，所公开的过程中步骤的特定顺序或层级是对示例方法的说明。基于设计偏好，应当理解的是，可重新排列过程中步骤的特定顺序或层级。一些步骤可被同时执行。随附的方法权利要求以示例顺序呈现了各个步骤的要素，并不意味着受限于所呈现的特定顺序或层级。
[0068] 提供先前的描述以使得本领域的任意技术人员能够实践本文所描述的各个方面。先前的描述提供了本主题技术的各种示例，并且本主题技术不限于这些示例。对这些方面的各种修改对于本领域技术人员而言将是显而易见的，并且本文中定义的一般原理可应用于其他方面。因此，不意在将权利要求受限于本文中所示出的各方面，而是意在使全部范围与权利要求的语言表述相一致，其中以单数形式所提及的元素并不意在表示“一个且仅一个”，除非明确如此阐明，否则而是表示“一个或多个”。除非另有明确阐明，否则术语“一些”是指一个或多个。男性代词(例如，他的)包括女性和中性性别(例如，她及它)，反之亦然。标题和副标题，如果有的话，仅是为了方便起见，并不限制本发明。谓语词“被配置以”、“可操作以”和“被编程以”并不意味着对对象进行任意具体的有形或无形修改，而是意在将其互换使用。例如，被配置以监测和控制操作或部件的处理器也可意味着处理器被编程以监测和控制操作或处理器可被操作以监测和控制操作。同样地，被配置以执行代码的处理器可被解释为被编程以执行代码或可被操作以执行代码的处理器。

[0069] 诸如“方面”的短语并不意味着这样的方面对于本主题技术是必不可少的，也不意味着这样的方面适用于本主题技术的配置。与一方面有关的公开内容可应用于配置，或者一个或多个配置。一方面可提供一个或多个示例。诸如方面的短语可指一个或多个方面，反之亦然。诸如“实施例”的短语并不意味着这样的实施例对于本主题技术是必不可少的，也不意味着这样的实施例适用于本主题技术的配置。与一个实施例有关的公开内容可适用于实施例，或者一个或多个实施例。一个实施例可提供一个或多个示例。诸如“实施例”的短语可指一个或多个实施例，反之亦然。诸如“配置”的短语并不意味着这样的配置对于本主题技术是必不可少的，也不意味着这样的配置适用于本主题技术的配置。与一个配置有关的公开内容可适用于配置，或者一个或多个配置。一个配置可提供一个或多个示例。诸如“配置”的短语可指一个或多个配置，反之亦然。
[0070] 词语“示例”在本文中用来表示“用作示例或说明”。本文中被描述为“示例”的任意方面或设计不必然被解释为比其他方面或设计更优选或更有利。
[0071] 对于本领域普通技术人员而言是已知或以后将知道的是，在整个本公开中所描述的各个方面的元件的结构和功能等同物均通过引用明确地并入本文，并且意在被权利要求书所涵盖。此外，无论在权利要求书中是否明确叙述了本文所描述的公开内容，都不意在将这样的公开内容捐献于公众。除非使用短语“用于……的手段”明确叙述该要素，或者在方法权利要求的情况下，使用短语“用于……的步骤”来叙述该元素，否则任何权利要求的要素均不得根据美国专利法35U.S.C.、§112、第六段的规定进行解释。此外，针对说明书或权利要求书中使用术语“包括(include)”、“具有(have)”等的程度，这样的术语旨在被包括在术语“包含”的方式内，类似于当“包括”在权利要求中被用作连接词时，对“包括”的解释那样。
[0072] 对“一个实施例”、“一实施例”、“一些实施例”、“各种实施例”等的引用指示具体的要素或特征被包括在本发明的至少一个实施例中。虽然这些短语可出现在各个地方，但是这些短语不一定指的是同一实施例。结合本公开，本领域技术人员将能够设计和结合适用于实现上述功能的各种机构中的任意一者。
[0073] 应当理解的是，本公开仅教导了说明性实施例的一个示例，并且本领域技术人员在阅读了本公开之后可容易地设计出本发明的许多变型，并且本发明的范围将由以下权利要求所确定。

专利地区：重庆

专利申请日期：2021-09-17

专利公开日期：2022-01-21

专利公告号：CN113962912A