本平台为商业科创服务平台 非政府政务服务网站

一种图片的背景虚化方法及装置、计算机设备、存储介质

更新时间:2026-11-01
一种图片的背景虚化方法及装置、计算机设备、存储介质 专利申请类型:实用新型专利;
地区:湖北-武汉;
源自:武汉高价值专利检索信息库;

专利名称:一种图片的背景虚化方法及装置、计算机设备、存储介质

专利类型:实用新型专利

专利申请(专利权)人:武汉TCL集团工业研究院有限公司
权利人地址:湖北省武汉市东湖新技术开发区高新大道999号未来科技大厦8层

专利发明(设计)人:李鹏

专利摘要:本申请涉及一种图片的背景虚化方法及装置、计算机设备、存储介质,所述方法包括:对深度图做预处理,得到前景图片和背景图片;对所述背景图片进行虚化,得到虚化背景图片;对所述前景图片进行模糊,得到所述前景图片和所述背景图片之间的过渡带;将所述前景图片和所述虚化背景图片进行叠加并在所述过渡带进行融合,得到背景虚化后的图片。通过本方法对拍摄的图片进行处理,可以使拍摄的照片具有背景多级虚化的效果,避免拍摄照片的前景与背景叠加产生黑边或者光晕以及过渡不自然等问题。

主权利要求:一种图片的背景虚化方法及装置、计算机设备、存储介质
技术领域
[0001] 本申请涉及图像处理技术领域,特别是涉及一种图片的背景虚化方法及装置、计算机设备、存储介质。
背景技术
[0002] 随着智能手机产业的发展,有关手机拍照的硬件和功能也在不断的更新换代,背景虚化功能,尤其是在人像模式中,越来越被广泛地使用。
[0003] 目前,背景虚化主要是利用主摄像头和副摄像头合成的深度图,从深度图中分割出前景和背景,然后将分层多级背景虚化后的背景与前景叠加生成背景虚化效果,然而利用深度图的分层多级背景虚化以及前景与背景的叠加都存在一定的缺陷,例如:1、利用深度距离信息的分层多级虚化会使得相邻的区域出现虚化等级不一致,影响照片拍摄的效果;2、虚化分级较少会导致不同虚化等级之间叠加的边缘出现过渡不自然的效果,影响照片拍摄的效果;3、虚化分级较多会导致处理时间过长,无法满足手机拍照的实时性;4、前景与虚化后的背景叠加会在边缘处产生过渡突兀、黑边或光晕等效果,影响照片拍摄的效果。
[0004] 因此,现有技术有待改进。
发明内容
[0005] 本申请要解决的技术问题是拍摄图片前景与背景叠加产生的黑边和光晕以及过渡不自然等效果,提供一种图片的背景虚化方法及装置、计算机设备、存储介质,提高手机拍摄照片的背景虚化效果,为用户带来更好的拍照体验。
[0006] 第一方面,本申请实施例提供了一种图片的背景虚化方法,所述方法包括:对深度图做预处理,得到前景图片和背景图片;对所述背景图片进行模糊,得到虚化背景图片;对所述前景图片进行模糊,得到所述前景图片和所述背景图片之间的过渡带;将所述前景图片和所述虚化背景图片进行叠加并在所述过渡带进行融合,得到背景虚化后的图片。
[0007] 可选地,所述对深度图做预处理,得到前景图片和背景图片,包括:对所述深度图进行保边滤波,得到第一深度图片;对所述第一深度图片进行中值滤波,得到第二深度图片;对所述第二深度图片进行水平集分割,得到前景掩模和背景掩模;根据所述前景掩模和所述背景掩模,得到所述前景图片和所述背景图片。
[0008] 可选地,所述对所述背景图片进行虚化,得到虚化背景图片,包括:对所述背景图片进行拉伸变换,得到第一背景图片;对所述第一背景图片进行逐点多级虚化,得到第二背景图片;对所述第二背景图片做反拉伸变换,得到所述虚化背景图片。
[0009] 可选地,所述对所述第一背景图片进行逐点多级虚化,得到第二背景图片,包括:根据所述前景图片,计算所述前景图片的质心点的坐标;根据所述第一背景图片中像素点的坐标和所述质心点的坐标,计算所述第一背景图片中每一个像素点与质心点之间的直线距离;根据所述直线距离和虚化程度值,计算所述第一背景图片中像素点的虚化半径。

[0010] 可选地,根据所述直线距离和虚化程度值,计算所述第一背景图片中像素点的虚化半径之后,包括:根据所述像素点的虚化半径生成所述像素点的模糊核;根据所述像素点的模糊核,对所述像素点做模糊处理。
[0011] 可选地,所述将所述前景图片和所述虚化背景图片进行叠加并在所述过渡带进行融合,得到背景虚化后的图片,包括:在非过渡带区域,用所述前景图片或者所述虚化背景图片中的像素点对拍摄图片中对应的像素点进行替换;在过渡带区域,根据模糊值、前景图片的像素值和虚化背景图片的像素值,得到过渡带区域融合后的像素值,其中,所述模糊值为对所述前景图片腐蚀和模糊后的像素值。
[0012] 可选地,所述对深度图做预处理,得到前景图片和背景图片之前,包括:获取拍摄图片和所述深度图。
[0013] 第二方面,本申请实施例提供了一种图片的背景虚化装置,所述装置包括:预处理单元,用于对深度图做预处理,得到前景图片和背景图片;模糊单元,用于对所述背景图片进行虚化,得到虚化背景图片;过渡带生成单元,用于对所述前景图片进行模糊,得到所述前景图片和所述背景图片之间的过渡带;图片合成单元,用于将所述前景图片和所述虚化背景图片进行叠加并在所述过渡带进行融合,得到背景虚化后的图片。
[0014] 第三方面,本申请实施例提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
[0015] 对深度图做预处理,得到前景图片和背景图片;对所述背景图片进行虚化,得到虚化背景图片;对所述前景图片进行模糊,得到所述前景图片和所述背景图片之间的过渡带;将所述前景图片和所述虚化背景图片进行叠加并在所述过渡带进行融合,得到背景虚化后的图片。

[0016] 第四方面,本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
[0017] 对深度图做预处理,得到前景图片和背景图片;对所述背景图片进行虚化,得到虚化背景图片;对所述前景图片进行模糊,得到所述前景图片和所述背景图片之间的过渡带;将所述前景图片和所述虚化背景图片进行叠加并在所述过渡带进行融合,得到背景虚化后的图片。

[0018] 与现有技术相比,本申请实施例具有以下优点:
[0019] 根据本申请实施方式提供的方法,首先对深度图做预处理,得到前景图片和背景图片,然后对所述背景图片进行虚化,得到虚化背景图片,接着对所述前景图片进行模糊,得到所述前景图片和所述背景图片之间的过渡带,最后将所述前景图片和所述虚化背景图片进行叠加并在所述过渡带进行融合,得到背景虚化后的图片。通过本方法提高了手机拍摄照片的背景虚化效果,为用户带来更好的拍照体验。
附图说明
[0020] 为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0021] 图1为本申请实施例中一种图片的背景虚化方法的流程示意图;
[0022] 图2为本申请实施例中一种图片的背景虚化装置的结构图;
[0023] 图3为本申请实施例中计算机设备的内部结构图。
具体实施方式
[0024] 为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
[0025] 发明人经过研究发现,在智能手机拍照领域,现有的对拍摄照片处理中背景虚化主要是利用主摄像头和副摄像头合成的深度图,从深度图中分割出前景和背景,然后将分层多级背景虚化后的背景与前景叠加生成背景虚化效果,然而利用深度图的分层多级背景虚化以及前景与背景的叠加都存在一定的缺陷,影响照片拍摄的效果,无法满足手机拍照的实时性。
[0026] 为了解决上述问题,在本申请实施例中,主要通过三个方面提升背景虚化的效果:1、通过背景图片的像素的拉伸操作和反拉伸操作,使得虚化后的背景具有一定的光斑效果;2、以前景的轮廓质心为圆心,以圆形向外扩散增大模糊核半径的方式进行逐点虚化,达到了多级虚化但不用分层的目的,解决多层分级虚化背景叠加的边缘过渡不自然问题;3、对前景的掩模进行腐蚀和高斯模糊平滑处理的方式,生成前景与背景过渡带,融合过渡带的前景和背景,有效缓解边缘过渡突兀,出现黑边和光晕等问题。

[0027] 下面结合附图,详细说明本申请的各种非限制性实施方式。
[0028] 本申请实施例提供了一种图片的背景虚化方法,如图1所示,所述方法包括:
[0029] S1、对深度图做预处理,得到前景图片和背景图片。
[0030] 在本申请实施例中,在对深度图做预处理之前,获取拍摄图片和所述深度图。步骤S1中对深度图进行预处理,分割出前景图片F_Img和背景图片B_Img并得到相应的前景掩模F_mask和背景掩模B_mask,根据前景掩模F_mask和背景掩模B_mask得到前景图片和背景图片。其中,深度图可以是通过拍摄图片处理后得到的图片。前景图片可以为拍摄图片中的主体、距离镜头较近的物体、用户想要拍摄的物体或者手机相机中焦点出的物体等图片,背景图片为图片中除前景区域外的图片。例如,对人进行拍摄,则图片中的人的区域为前景图片,其余区域为背景图片。
[0031] 在本申请一种可选实施例中,步骤S1包括:
[0032] S11、对所述深度图进行保边滤波,得到第一深度图片。
[0033] S12、对所述第一深度图片进行中值滤波,得到第二深度图片。
[0034] S13、对所述第二深度图片进行水平集分割,得到前景掩模和背景掩模。
[0035] 在本申请实施例中,为了去除第一深度图片中的毛边,步骤S12中对第一深度图片进行中值滤波。通过对第二深度图片进行水平集分割,得到前景区域轮廓,根据前景区域轮廓得到前景掩模和背景掩模。第一深度图片和第二深度图片都是处理过程中的深度图片。
[0036] S14、根据所述前景掩模和所述背景掩模,得到所述前景图片和所述背景图片。
[0037] S2、对所述背景图片进行虚化,得到虚化背景图片。
[0038] 在本申请实施例中,虚化背景图片为虚化后的背景图片。步骤S2中对背景图片中超过第一阈值threshold的像素值pixelValue进行拉伸变换,然后对拉伸后的背景图片做逐点的多级虚化,最后对虚化后的背景图片进行反拉伸变换,得到虚化背景图片。
[0039] 在本申请一种可选实施例中,步骤S2包括:
[0040] S21、对所述背景图片进行拉伸变换,得到第一背景图片。
[0041] 在本申请实施例中,第一背景图片为拉伸变换后的背景图片。对超过第一阈值的背景图片中的像素值进行拉伸变换,其中,拉伸变换的表征形式如下:
[0042] pixelValue=a*(pixelValue‑threshold)b+threshold
[0043] 其中:threshold为第一阈值,a、b和threshold的值依赖具体要达到的光斑效果而定,其中,b>1且a>1,例如:a=2,b=2,threshold=128。
[0044] S22、对所述第一背景图片进行逐点多级虚化,得到第二背景图片。
[0045] 在本申请实施例中,第二背景图片为逐点多级虚化后的背景图片。根据前景的轮廓计算出前景轮廓的质心点,计算出拉伸后的背景图片中每一个像素点与质心点的直线距离。
[0046] 本申请实施例中通过逐点多级虚化的方法解决了现有技术中利用深度距离信息的分层多级虚化会使得相邻的区域出现虚化等级不一致、虚化分级较多会导致处理时间太长,无法满足手机端的实时性等问题,使背景的虚化程度大而且过渡比较自然。
[0047] 在本申请一种可选实施例中,步骤S22包括:
[0048] S221、根据所述前景图片,计算所述前景图片的质心点的坐标。
[0049] 在本申请实施例中,可以根据前景图片中前景的轮廓计算出前景轮廓的质心点(x0,y0)。
[0050] S222、根据所述第一背景图片中像素点的坐标和所述质心点的坐标,计算所述第一背景图片中每一个像素点与质心点之间的直线距离。
[0051] 在本申请实施例中,第一背景图片为拉伸后的背景图片,根据所述第一背景图片中像素点的坐标(i,j)和所述质心点的坐标(x0,y0),计算所述第一背景图片中每一个像素点(i,j)与质心点(x0,y0)之间的直线距离。
[0052] S223、根据所述直线距离和虚化程度值,计算所述第一背景图片中像素点的虚化半径。
[0053] 在本申请实施例中,根据前景的轮廓计算出前景轮廓的质心点(x0,y0),计算出所有(i,j)与(x0,y0)之间的直线距离dist。像素点虚化的半径的表征形式为:
[0054] radius=baseRadius*(disti,j/maxDist)
[0055] 其中,disti,j是背景图像坐标(i,j)的像素点与(x0,y0)的距离,maxDist为所有直线距离中最大值,baseRadius为虚化程度值,baseRadius根据要虚化的程度取值,例如:baseRadius可以为15。

[0056] 在本申请一种可选实施例中,步骤S223之后,所述方法还包括:
[0057] S224、根据所述像素点的虚化半径生成所述像素点的模糊核。
[0058] S225、根据所述像素点的模糊核,对所述像素点做模糊处理。
[0059] 在本申请实施例中,遍历第一背景图片中的像素点,依据像素点的虚化半径生成对应的模糊核,对像素点做模糊处理。逐像素的遍历比较耗时,各像素之间的虚化操作是独立的,可以采用多线程并行加速处理。
[0060] S23、对所述第二背景图片做反拉伸变换,得到所述虚化背景图片。
[0061] 在本申请实施例中,第二背景图片为逐点多级虚化后的背景图片。反拉伸变换的表征形式为上述拉伸变换表达式的反函数。
[0062] S3、对所述前景图片进行模糊,得到所述前景图片和所述背景图片之间的过渡带。
[0063] 在本申请实施例中,对前景区域的掩模F_mask做腐蚀和高斯模糊处理,在掩模的边缘处产生像素值介于0~255(不包括0和255)的过渡带并作归一化到0~1,其中,过渡带就是前景与背景相邻的边缘区域,具体地,二值掩模图像的前景像素值为255,背景像素值为0,在前景与背景相邻的边缘部分,做一个平滑处理,例如高斯模糊处理,使得前景与背景边缘部分像素值介于0到255之间。这部分像素值在0~255之间的区域称为过渡带。
[0064] S4、将所述前景图片和所述虚化背景图片进行叠加并在所述过渡带进行融合,得到背景虚化后的图片。
[0065] 在本申请一种可选实施例中,步骤S4包括:
[0066] 在非过渡带区域,用所述前景图片或者所述虚化背景图片中的像素点对拍摄图片中对应的像素点进行替换;
[0067] 例如:在拍摄图片非过渡带区域中属于前景图片的像素点,则用该前景图片中对应位置的像素点进行替换,在拍摄图片非过渡带区域中属于背景图片的像素点,则用该背景图片中对应位置的像素点进行替换。替换完成后,非过渡带区域的图片的背景为虚化后的背景。
[0068] 在过渡带区域,根据模糊值、前景图片的像素值和虚化背景图片的像素值,得到过渡带区域融合后的像素值,其中,所述模糊值为对所述前景图片腐蚀和模糊后的像素值。
[0069] 在本申请实施例中,过渡带区域的像素点在步骤S3中处理的F_mask的像素值为w,该过渡带区域的像素点在前景图片中像素值为F_pixel,该过渡带区域的像素点在虚化背景图片中像素值为B_pixel,则该像素点在过渡带融合后的像素值为FB_pixel=W*F_pixel+(1‑w)*B_pixel。
[0070] 本申请实施例中通过在前景和背景之间生成过渡带的方式,对处理后的前景和背景进行融合,缓解了边缘过渡突兀,避免了前景和背景的边界出现黑边和光晕的问题。
[0071] 本申请实施例提供了一种图片的背景虚化装置,如图2所示,所述装置包括:
[0072] 预处理单元21,用于对深度图做预处理,得到前景图片和背景图片。
[0073] 模糊单元22,用于对所述背景图片进行虚化,得到虚化背景图片。
[0074] 过渡带生成单元23,用于对所述前景图片进行模糊,得到所述前景图片和所述背景图片之间的过渡带。
[0075] 叠加融合单元24,用于将所述前景图片和所述虚化背景图片进行叠加并在所述过渡带进行融合,得到背景虚化后的图片。
[0076] 在本申请一种可选实施例中,预处理单元,包括:
[0077] 保边滤波模块,用于对所述深度图进行保边滤波,得到第一深度图片。
[0078] 中值滤波模块,用于对所述第一深度图片进行中值滤波,得到第二深度图片.[0079] 水平集分割模块,用于对所述第二深度图片进行水平集分割,得到前景掩模和背景掩模。
[0080] 处理模块,用于根据所述前景掩模和所述背景掩模,得到所述前景图片和所述背景图片。
[0081] 在本申请一种可选实施例中,模糊单元,包括:
[0082] 拉伸变换模块,用于对所述背景图片进行拉伸变换,得到第一背景图片;
[0083] 逐点多级虚化模块,用于对所述第一背景图片进行逐点多级虚化,得到第二背景图片;
[0084] 反拉伸变换模块,用于对所述第二背景图片做反拉伸变换,得到所述虚化背景图片。
[0085] 在本申请一种可选实施例中,逐点多级虚化模块,包括:
[0086] 质心点计算子模块,用于根据所述前景图片,计算所述前景图片的质心点的坐标。
[0087] 距离计算子模块,用于根据所述第一背景图片中像素点的坐标和所述质心点的坐标,计算所述第一背景图片中每一个像素点与质心点之间的直线距离。
[0088] 虚化半径计算子模块,用于根据所述直线距离和虚化程度值,计算所述第一背景图片中像素点的虚化半径。
[0089] 在本申请一种可选实施例中,所述装置,包括:
[0090] 模糊核生成子模块,用于根据所述像素点的虚化半径生成所述像素点的模糊核;
[0091] 模糊处理子模块,用于根据所述像素点的模糊核,对所述像素点做模糊处理。
[0092] 在本申请一种可选实施例中,过渡带生成单元,包括:
[0093] 替换模块,用于在非过渡带区域,用所述前景图片或者所述虚化背景图片中的像素点对拍摄图片中对应的像素点进行替换。
[0094] 融合模块,用于在过渡带区域,根据模糊值、前景图片的像素值和虚化背景图片的像素值,得到过渡带区域融合后的像素值,其中,所述模糊值为对所述前景图片腐蚀和模糊后的像素值。
[0095] 在本申请一种可选实施例中,所述装置,还包括:获取模块,用于获取拍摄图片和所述深度图。
[0096] 在一个实施例中,本申请提供了一种计算机设备,该设备可以是终端,内部结构如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种自然语言模型的生成方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
[0097] 本领域技术人员可以理解,图3所示的仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
[0098] 本申请实施例提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
[0099] 对深度图做预处理,得到前景图片和背景图片;对所述背景图片进行虚化,得到虚化背景图片;对所述前景图片进行模糊,得到所述前景图片和所述背景图片之间的过渡带;将所述前景图片和所述虚化背景图片进行叠加并在所述过渡带进行融合,得到背景虚化后的图片。

[0100] 本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
[0101] 对深度图做预处理,得到前景图片和背景图片;对所述背景图片进行虚化,得到虚化背景图片;对所述前景图片进行模糊,得到所述前景图片和所述背景图片之间的过渡带;将所述前景图片和所述虚化背景图片进行叠加并在所述过渡带进行融合,得到背景虚化后的图片。

[0102] 以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
[0103] 以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

专利地区:湖北

专利申请日期:2019-12-30

专利公开日期:2023-08-01

专利公告号:CN113129207B


以上信息来自国家知识产权局,如信息有误请联系我方更正!
该专利所有权非本平台所有,我方无法提供专利权所有者联系方式,请勿联系我方。
电话咨询
到底部
搜本页
回顶部
搜索
搜本页
欢迎咨询

扫码可加微信,手机访问拨打咨询

欢迎咨询

欢迎咨询
数据加载中...