用于重构的基于投影的帧的样本适应性偏移滤波方法

专利名称：用于重构的基于投影的帧的样本适应性偏移滤波方法

专利类型：实用新型专利

专利申请号：CN201980021025.0

专利申请（专利权）人：联发科技股份有限公司
权利人地址：中国台湾新竹市新竹科学园区笃行一路一号

专利发明（设计）人：林圣晏,刘琳,林建良

专利摘要：一种用于重构的基于投影的帧的样本适应性偏移(SAO)滤波方法包括：获得填充区域的至少一个填充像素，所述填充区域充当第一投影面的面边界的延伸区域，以及将SAO滤波应用于块，该块具有包含在该第一投影面的至少一个像素。在该重构的基于投影的帧中，在该第一投影面的该面边界与第二投影面的面边界之间有图像内容不连续性。该块的该SAO滤波涉及该至少一个填充像素。

主权利要求：
1.一种用于重构的基于投影的帧的样本适应性偏移滤波方法，所述重构的基于投影的帧包括包装于360°虚拟现实投影中的投影布局的多个投影面，观察球的360°图像内容根据所述投影布局被映射到所述多个投影面，其特征在于，所述方法包括：由样本适应性偏移滤波器获得填充区域中的至少一个填充像素，所述填充区域充当第一投影面的一个面边界的延伸区域，其中包装于所述重构的基于投影的帧的所述多个投影面包括所述第一投影面以及第二投影面；以及在所述重构的基于投影的帧中，所述第一投影面的所述一个面边界与所述第二投影面的一个面边界连接，以及在所述第一投影面的所述一个面边界与所述第二投影面的所述一个面边界之间有图像内容不连续性；以及将样本适应性偏移滤波应用于具有包含于所述第一投影面中的至少一个像素的块，以及所述块的所述样本适应性偏移滤波涉及所述填充区域中的所述至少一个填充像素；
其中每一所述至少一个填充像素是球面相邻像素，以及所述填充区域对应的所述观察球上的区域邻近于从所述观察球获得所述第一投影面的区域，在所述样本适应性偏移滤波之后，通过混合为第一像素获得的像素值以及为第二像素获得的像素值，生成所述第一像素的已更新像素值，其中所述第一像素位于包含在所述多个投影面之一中的位置，所述第二像素从所述至少一个填充像素中选择，以及所述第一像素以及所述第二像素被映射到所述观察球上的相同点。
2.如权利要求1所述的用于重构的基于投影的帧的样本适应性偏移滤波方法，其特征在于，其中获得所述至少一个填充像素包括：直接使用从所述多个投影面之一选择的至少一个像素来充当所述至少一个填充像素；
或者
将几何映射应用到在所述第一投影面的延伸区域的至少一个已投影像素来找到所述多个投影面之一上的至少一个点，以及从所述至少一个点推导所述至少一个填充像素。
3.如权利要求1所述的用于重构的基于投影的帧的样本适应性偏移滤波方法，其特征在于，其中所述样本适应性偏移滤波方法进一步包括：所述块的所述样本适应性偏移滤波包括配置为将所述块的像素分类成对于给定边缘偏移类的多个形态之一的像素分类处理，以及所述像素分类处理涉及所述至少一个填充像素。
4.如权利要求1所述的用于重构的基于投影的帧的样本适应性偏移滤波方法，其特征在于，其中所述块的所述样本适应性偏移滤波包括被配置为将所述块的像素分类成对于给定边缘偏移类的多个形态中的一个的像素分类处理，以及所述像素分类处理涉及所述至少一个填充像素。
5.如权利要求1所述的用于重构的基于投影的帧的样本适应性偏移滤波方法，其特征在于，其中在所述块的所述样本适应性偏移滤波期间动态地创造所述至少一个填充像素。
6.如权利要求1所述的用于重构的基于投影的帧的样本适应性偏移滤波方法，其特征在于，进一步包括：
获得在另一个填充区域中的至少一个填充区域，所述另一个填充区域充当所述重构的基于投影的帧的一个图像边界的延伸区域；
将样本适应性偏移滤波应用于另一块，其中所述另一块包括所述多个投影面之一中的至少一个像素；
其中所述多个投影面之一的一个面边界是所述重构的基于投影的帧的所述一个图像边界的一部分，以及所述另一块的所述样本适应性偏移滤波涉及所述另一个填充区域中的所述至少一个填充像素。
7.一种用于重构的基于投影的帧的样本适应性偏移滤波方法，所述重构的基于投影的帧包括包装于360°虚拟现实投影的投影布局的至少一个投影面，观察球的360°图像内容根据所述投影布局被映射到所述至少一个投影面，其特征在于，所述方法包括：由样本适应性偏移滤波器获得填充区域中的至少一个填充像素，所述填充区域充当包装于所述重构的基于投影的帧的投影面的一个面边界的延伸区域，其中所述投影面的所述一个面边界是所述重构的基于投影的帧的一个图像边界的一部分；以及将样本适应性偏移滤波应用于一块，其中所述块具有包含在所述投影面的至少一个像素，以及所述块的所述样本适应性偏移滤波涉及所述填充区域中的所述至少一个填充像素；
其中每一所述至少一个填充像素是球面相邻像素，以及所述填充区域对应的所述观察球上的区域邻近于从所述观察球上获得所述投影面的区域，在所述样本适应性偏移滤波之后，通过混合为第一像素获得的像素值以及为第二像素获得的像素值，生成所述第一像素的已更新像素值，其中所述第一像素位于包含在所述多个投影面之一中的位置，所述第二像素从所述至少一个填充像素中选择，以及所述第一像素以及所述第二像素被映射到所述观察球上的相同点。
8.如权利要求7所述的用于重构的基于投影的帧的样本适应性偏移滤波方法，其特征在于，其中获得所述至少一个填充像素包括：直接使用从所述至少一个投影面选择的至少一个像素来充当所述至少一个填充像素；
或者
将几何映射应用到在所述投影面的延伸区域上的至少一个已投影像素来找到在所述至少一个投影面的至少一个点，以及从所述至少一个点推导所述至少一个填充像素。
9.如权利要求7所述的用于重构的基于投影的帧的样本适应性偏移滤波方法，其特征在于，其中所述样本适应性偏移滤波方法进一步包括：所述块的所述样本适应性偏移滤波包括配置为将所述块的像素分类成对于给定边缘偏移类的多个形态之一的像素分类处理，以及所述像素分类处理涉及所述至少一个填充像素。
10.如权利要求7所述的用于重构的基于投影的帧的样本适应性偏移滤波方法，其特征在于，其中在所述块的所述样本适应性偏移滤波期间动态地创造所述至少一个填充像素。
11.一种用于重构的基于投影的帧的样本适应性偏移滤波方法，所述重构的基于投影的帧包括包装于360°虚拟现实投影的投影布局中的多个投影面，观察球的360°内容根据所述投影布局被映射到所述多个投影面，所述方法包括：由样本适应性偏移滤波器获得填充区域中的至少一个填充像素，所述填充区域充当包装于所述重构的基于投影的帧的第一投影面的一个面边界的延伸区域，其中包装于所述重构的基于投影的帧的所述多个投影面包括所述第一投影面以及第二投影面，所述第一投影面的所述一个面边界与所述第二投影面的一个面边界连接，以及在所述第一投影面的所述一个面边界与所述第二投影面的所述一个面边界之间有图像内容连续性；以及将样本适应性偏移滤波应用于块，其中所述块具有包含在所述第一投影面的至少一个像素，以及所述块的所述样本适应性偏移滤波涉及所述填充区域中的所述至少一个填充像素；
其中每一所述至少一个填充像素是球面相邻像素，以及所述填充区域对应的所述观察球上的区域邻近于从所述观察球上获得所述投影面的区域，在所述样本适应性偏移滤波之后，通过混合为第一像素获得的像素值以及为第二像素获得的像素值，生成所述第一像素的已更新像素值，其中所述第一像素位于包含在所述多个投影面之一中的位置，所述第二像素从所述至少一个填充像素中选择，以及所述第一像素以及所述第二像素被映射到所述观察球上的相同点。
12.如权利要求11所述的用于重构的基于投影的帧的样本适应性偏移滤波方法，其特征在于，获得所述至少一个填充区域包括：将几何映射应用于所述第一投影面的延伸区域上的至少一个已投影像素来找到所述多个投影面之一上的至少一个点，以及从所述至少一个点推导所述至少一个填充像素。
13.如权利要求11所述的用于重构的基于投影的帧的样本适应性偏移滤波方法，其特征在于，其中所述样本适应性偏移滤波方法进一步包括：所述块的所述样本适应性偏移滤波包括配置为将所述块的像素分类成对于给定边缘偏移类的多个形态之一的像素分类处理，以及所述像素分类处理涉及所述至少一个填充像素。
14.如权利要求11所述的用于重构的基于投影的帧的样本适应性偏移滤波方法，其特征在于，其中所述块的所述样本适应性偏移滤波包括配置为确定对于给定边缘偏移类的一个形态的偏移的滤波处理，以及所述滤波处理涉及所述至少一个填充像素。
15.如权利要求11所述的用于重构的基于投影的帧的样本适应性偏移滤波方法，其特征在于，其中在所述块的所述样本适应性偏移滤波期间动态地创造所述至少一个填充像素。 说明书 : 用于重构的基于投影的帧的样本适应性偏移滤波方法[0001] 相关引用[0002] 本申请要求与2018年3月22日提交的号码为62/646,389的美国临时申请案的优先权，并通过引用纳入其中。技术领域[0003] 本发明涉及处理全景视频内容，以及更具体地，涉及重构的基于投影的帧的样本适应性偏移(sampleadaptiveoffset，SAO)滤波方法，该重构的基于投影的帧采用360°虚拟现实投影的投影布局。背景技术[0004] 具有头戴显示(head‑mounteddisplay，HMD)的虚拟现实(VR)与各种应用相关。其向使用者展示宽视场(fieldofview)内容的能力可以用于提供沉浸式的视觉体验。需要在所有方向上捕获真实世界来生成对应观察球的全景图像内容。随着摄像机平台以及HMD的发展，由于展示如360°图像内容所需要的高比特率，VR内容的递送可能很快成为瓶颈。当全景视频的分辨率是4K或者更高时，数据压缩/编码对比特率降低是关键的。[0005] 全景视频的数据压缩/编码可以由传统的视频编解码标准实现，其采用基于块的编解码技术来利用空间以及时间冗余。例如，基本方法是将来源帧拆分成多个块(或编码单元(codingunit))，对每一块执行帧内预测(intraprediction)/帧间预测(interprediction)，转换每一块的残差，并执行量化以及熵编码。此外，生成重构的帧来提供用于编解码后续块的参考像素数据。对于某些视频编解码标准，环路滤波器可以用于增强重构的帧的图像质量。例如，由视频编码器使用样本适应性偏移(SAO)滤波器来最小化区域的平均样本失真(distortion)。视频解码器用于执行由视频编码器执行的视频编码操作的逆操作。因此，视频解码器还具有用于增强重构的帧的图像质量的环路滤波器。例如，由视频解码器使用的SAO滤波去来减少失真。[0006] 通常，对应于观察球(sphere)的全景视频内容被转换成一系列图像，该系列图像的每一个是具有由排列在360°虚拟现实(360VR)投影布局的一个或多个投影面表示的360°图像内容的基于投影的帧，以及然后该系列基于投影的帧被编码成比特流用于传输。然而，基于投影的帧在图像边界(即，布局边界)与/或面边缘(即，面边界)可能具有图像内容不连续性。因此，需要新颖性SAO滤波器设计，能够对位于一个面边界的任何像素执行更精确SAO滤波处理，与/或处理位于一个图像边界的任何像素的SAO滤波处理。发明内容[0007] 所要求保护的发明的目的之一是提供用于重构的基于投影的帧的样本适应性偏移(SAO)滤波方法，所述重构的基于投影的帧采用360°虚拟现实(360VR)投影的投影布局。例如，由SAO滤波器采用基于填充的SAO滤波方法。这样，位于面边界上的像素的SAO滤波处理可以更精确，与/或位于图像边界上的像素的SAO滤波处理可以正确地工作。[0008] 根据本发明的第一方面，公开了用于重构的基于投影的帧的示例性样本适应性偏移(SAO)滤波方法。所述重构的基于投影的帧包括包装于360°虚拟现实(360VR)投影的投影布局的多个投影面，观察球的360°图像内容根据所述投影布局被映射到所述多个投影面。所述示例性SAO滤波方法包括：由SAO滤波器获得填充区域中的至少一个填充像素，所述填充区域充当第一投影面的面边界的延伸区域，以及将SAO滤波应用于块。包装于所述重构的基于投影的帧中的所述多个投影面包括所述第一投影面以及第二投影面。在所述重构的基于投影的帧中，所述第一投影面的所述面边界与所述第二投影面的一个面边界连接，以及在所述第一投影面的所述面边界与所述第二投影面的所述面边界之间有图像内容不连续性。所述块具有包含在所述第一投影面的至少一个像素，以及所述块的所述SAO滤波涉及所述填充区域中的所述至少一个填充像素。[0009] 根据本发明的第二方面，公开了一种用于一重构的基于投影的帧的示例性样本适应性偏移(SAO)滤波方法。所述重构的基于投影的帧包括包装于360°虚拟现实(360VR)投影的投影布局的至少一个投影面，观察球的360°图像内容根据所述投影布局被映射到所述多个投影面。该示例性SAO滤波方法包括：由SAO滤波器获得填充区域的至少一个填充像素，所述填充区域充当包装于所述重构的基于投影的帧的投影面的面边界的延伸区域，以及将SAO滤波应用于块。该投影面的该面边界是该重构的基于投影的帧的图像边界的一部分。所述块具有包含在所述投影面的至少一个像素，以及所述块的所述SAO滤波涉及该填充区域的所述至少一个填充像素。[0010] 根据本发明的第三方面，公开了一种用于重构的基于投影的帧的示例性样本适应性偏移(SAO)滤波方法。所述重构的基于投影的帧包括包装于360°虚拟现实(360VR)投影的投影布局的多个投影面，观察球的360°图像内容根据该投影布局被映射到所述多个投影面。所述示例性SAO滤波方法包括：由SAO滤波获得填充区域的至少一个填充像素，所述填充像素充当包装于所述重构的基于投影的帧的第一投影面的图像边界的延伸区域，以及将SAO滤波应用于块。包装于所述重构的基于投影的帧的所述多个投影面包括所述第一投影面以及第二投影面。在所述重构的基于投影的帧中，所述第一投影面的所述面边界与所述第二投影面的面边界连接，以及在所述第一投影面的所述面边界与所述第二投影面的所述面边界之间有图像内容连续性。所述块具有包含在所述投影面的至少一个像素，以及所述块的所述SAO滤波涉及所述填充区域的所述至少一个填充像素。[0011] 在阅读以各种图标以及附图示出的优选实施例的后续细节描述后，本发明的这些以及其他目的对本领域普通技术人员将是显而易见的。附图说明[0012] 图1示出了根据本发明实施例的360°虚拟现实(360VR)系统。[0013] 图2示出了根据本发明实施例的基于立方体的投影。[0014] 图3示出了根据本发明实施例的应用于块的SAO滤波方法，该块包含于在视频编码器生成的重构的基于投影的帧。[0015] 图4示出了根据本发明实施例的应用于块的SAO滤波方法，该块包含于在视频解码器生成的重构的基于投影的帧。[0016] 图5示出了由像素分类方法(EO类=0)使用的水平图样。[0017] 图6示出了由像素分类方法(EO类=1)使用的垂直图样。[0018] 图7示出了由像素分类方法(EO类=2)使用的135°对角线图样。[0019] 图8示出了由像素分类方法(EO类=3)使用的45°对角线图样。[0020] 图9示出了根据本法实施例的基于填充的SAO滤波概念。[0021] 图10示出了根据本发明实施例的存储于SAO滤波器的工作缓冲器中重构的帧数据以及填充像素数据的一个布置。[0022] 图11为根据本发明实施例的通过重复边缘像素找到填充像素的示意图。[0023] 图12为包装于紧凑的立方体贴图投影布局的多个正方形投影面之间的图像内容联系性关系的示意图。[0024] 图13为根据本发明实施例的由基于几何的方案找到的球面相邻像素的示意图。[0025] 图14示出了根据本发明实施例的为一点生成已插值的像素值的示例。[0026] 图15示出了根据本发明实施例的存储于SAO滤波器的工作缓冲器中的重构的帧数据以及填充像素数据的另一个布置。[0027] 图16为根据本发明实施例的混合处理的示意图。具体实施方式[0028] 贯穿后续描述以及权利要求使用了某些术语，其指特定的元件。本领域普通技术人员将能理解的，电子设备制造商可能用不同的名称指相同的元件。本发明不旨在区分名称不同但功能相同的元件。在后续描述以及权利要求中，以开放式的方式使用术语“包括(include)”以及“包括(comprise)”，以及因此应当解释为“包括但不限于……”。另外，术语“耦合”旨在意味着间接或直接的电性连接。因此，如果一个装置耦合到另一个装置，该连接可能通过直接电性连接，或者通过经由其他装置以及连接的间接电性连接。[0029] 图1示出了根据本发明实施例的360°虚拟现实(360VR)系统。360VR系统包括两个视频处理装置(如，源电子装置102以及目标电子装置104)。源电子装置102包括视频捕获装置112、转换电路114以及视频编码器116。例如，该视频捕获装置112可以是用于提供对应于观察球的全景图像内容(如，覆盖整个环境的多个图像)S_IN的一组摄像机。该转换电路114耦合在视频捕获装置112与视频编码器116之间。转换电路114根据全景图像内容S_IN生成具有360°虚拟现实(360VR)投影布局的基于投影的帧IMG。例如，基于投影的帧IMG可以是包含在从转换电路114生成的一系列基于投影的帧中的一个帧。视频编码器116是用于编码/压缩该基于投影的帧IMG来生成一部分比特流BS的编码电路。进一步地，视频编码器116经由传输方式103输出比特流BS到目标电子装置104。例如，该系列的基于投影的帧可以被编码成比特流BS，以及该传输方式103可以是有线的/无线的通信链路或存储媒介。[0030] 目标电子装置104可以是头戴显示(HMD)装置。如图1所示，目标电子装置104包括视频解码器122、图像渲染电路124以及显示设备126。视频解码器122是用于从传输方式103(如，有线/无线通信链路或存储媒介)接收比特流BS，以及解码一部分所接收的比特流BS来生成已解码的帧IMG’的解码电路。例如，视频解码器122由解码所接收到的比特流BS生成一系列已解码的帧，其中该已解码的帧IMG’是包含在一系列已解码的帧中的一个帧。在这一实施例中，将由视频编码器116编码的基于投影的帧IMG具有360VR投影布局L_VR。因此，在由视频解码器122解码一部分比特流BS后，已解码的帧IMG’是具有相同360VR投影布局L_VR的已解码的基于投影的帧。图像渲染电路124耦合在视频解码器122与显示设备126之间。根据已解码的帧IMG’，图像渲染电路124渲染并在显示设备126上显示输出图像数据。例如，经由图像渲染电路124，可以在显示设备126上显示与由已解码的帧IMG’携带的一部分360°图像内容有关的视口(viewport)区域。[0031] 视频编码器116可以采用基于块的方案用于编码基于投影的帧IMG。因此，视频编码器116具有SAO滤波器(标记为“SAO”)124来减少在基于块的编码后出现的失真。具体地，从重构电路(标记为“REC”)132生成的重构的基于投影的帧R可以用作用于编码后续块的参考帧，以及通过SAO滤波器134被存储到参考帧缓冲器(标记为“DPB”)136。例如，运动补偿电路(标记为“MC”)138可以使用在参考帧中找到的块来充当预测块。此外，至少一个工作缓冲器(标记为“BUF”)140可以用于存储在SAO滤波器134执行SAO滤波处理所需要的重构的帧数据与/或填充像素数据。[0032] SAO滤波器134可以是在编码树单元(codingtreeunit，CTU)基础上运行的基于样本的SAO滤波器。一个CTU包含三个色彩分量的多个编码树块(codingtreeblock，CTB)。即，CTU具有一个亮度CTB以及两个色度CTB。亮度CTB包含亮度(Y)样本。一个色度CTB包含色度(Cb)样本，以及另一个色度CTB包含色度(Cr)样本。换言之，SAO滤波处理可以使用块(如，CTB)作为基本处理单元，其中块中的像素可以是亮度样本或色度样本。在这一实施例中，对存储于工作缓冲器140中的重构的帧数据与/或填充像素数据执行SAO滤波处理。重构的基于投影的帧R由视频编码器116的内部解码环路生成。换言之，重构的基于投影的帧R是从基于投影的帧IMG的已编码数据重构的，以及因此具有与由基于投影的帧IMG使用的相同的360VR投影布局L_VR。需要注意的是，视频编码器116可以包括实现特定编码功能所需要的其他电路块(未示出)。[0033] 视频解码器122用于执行由视频编码器116执行的视频编码操作的逆操作。因此，视频解码器122具有SAO滤波器(标记为“SAO”)144来减少样本失真。具体地，从重构电路(标记为“REC”)142生成的重构的基于投影的帧R’可以被用作解码后续块的参考帧，以及通过SAO滤波器144被存储到参考帧缓冲器(标记为“DPB”)146。例如，运动补偿电路(标记为“MC”)148可以使用在参考帧中找到的块来充当预测块。此外，至少一个工作缓冲器(标记为“BUF”)150可以用于存储在SAO滤波器144执行SAO滤波处理所需要的重构的帧数据与/或填充像素数据。[0034] 与在编码器侧的SAO滤波器134类似，在解码器侧的SAO滤波器144可以是在CTU基础上操作的基于样本的SAO滤波器。SAO滤波处理可以使用块(如，CTB)作为基本处理单元，其中块中的像素可以是亮度样本或色度样本。对存储于工作缓冲器150中的重构的帧数据与/或填充像素数据执行SAO滤波处理。重构的基于投影的帧R’是从基于投影的帧IMG的已编码数据重构的，以及因此具有与由基于投影的帧IMG使用的相同的360VR投影布局L_VR。此外，可以通过使重构的基于投影的帧R’通过SAO滤波器144生成已解码的帧IMG’。需要注意的是，视频解码器122可以包括实现特定解码功能所需要的其他电路块(未示出)。[0035] 在一个示例性设计中，SAO滤波器134/144可以由专用硬件实施用于对块中的像素执行SAO滤波处理。在另一个示例性设计中，SAO滤波器134/144可以由执行程序代码的通用处理器实施来对块中的像素执行SAO滤波处理。然而，这些仅是示例性的，并不意味着对本发明的限制。[0036] 如上所提到的，根据360VR投影布局L_VR以及全景视频内容S_IN，转换电路114生成基于投影的帧IMG。在该360VR投影布局L_VR是基于立方体的投影布局的情况下，通过全景图像内容S_IN在观察球上的基于立方体的投影，从立方图的不同面推导六个正方形投影面。图2示出了根据本发明实施例的基于立方体的投影。观察球200上的360°图像内容被投影到立方体201的六个面，包括顶面、底面、左边面、正面、右边面以及背面。具体地，观察球200的北极区域的图像内容被投影到立方体201的顶面，观察球200的南极区域的图像内容被投影到立方体201的底面，以及观察球200的赤道区域的图像内容被投影到立方体201的左边面、正面、右边面以及背面。[0037] 将被包装于基于立方体投影的投影布局中的多个正方形投影面是分别从立方体201的六个面推导的。例如，从三维(3D)空间中的立方体201的顶面推导二维(2D)平面上的正方形投影面(标记为“顶”)，从3D空间中的立方体201的背面推导2D平面上的正方形投影面(标记为“背”)，从3D空间中的立方体201的底面推导2D平面上的正方形投影面(标记为“底”)，从3D空间中的立方体201的右边面推导2D平面上的正方形投影面(标记为“右”)，从3D空间中的立方体201的正面推导2D平面上的正方形投影面(标记为“正”)，以及从3D空间中的立方体201的左边面推导2D平面上的正方形投影面(标记为“左”)。[0038] 当360VR投影布局L_VR由图2中示出的立方体贴图投影(CMP)布局202设置时，正方形投影面“顶”、“背”、“底”、“右”、“正”以及“左”被包装在对应于未展开立方体的CMP布局202中。然而，将被编码的基于投影的帧IMG需要是矩形的。如果CMP布局202被直接用于创造基于投影的帧IMG，该基于投影的帧IMG需要用虚拟区域(如，黑色区域、灰色区域或白色区域)填充来形成矩形帧用于编码。或者，基于投影的帧IMG可以具有排列在紧凑的投影布局中的已投影图像数据来避免使用虚拟区域(如，黑色区域、灰色区域或白色区域)。如图2所示，正方形投影面“顶”、“背”以及“底”被旋转然后包装于紧凑的CMP布局204中。因此，正方形投影面“顶”、“背”、“底”、“右”、“正”以及“左”被排列在为3X2布局的紧凑的CMP布局204中。这样，可以改善编解码效率。[0039] 然而，根据紧凑的CMP布局204，正方形投影面的包装可能导致相邻正方形投影面之间的图像内容不连续性边界。如图2所示，具有紧凑的CMP布局204的基于投影的帧IMG具有顶子帧(其是包含正方形投影面“右”、“正”以及“左”的一个3X1面列)以及底子帧(其是包含正方形投影面“底”、“背”以及“顶”的另一个3X1面列)。在顶子帧与底子帧之间有图像内容不连续性边界。特别地，正方形投影面“右”的面边界S13与正方形投影面“底”的面边界S62连接，正方形投影面“正”的面边界S23与正方形投影面“背”的面边界S52连接，以及正方形投影面“左”的面边界S33与正方形投影面“顶”的面边界S42连接，其中在面边界S13与S62之间有图像内容不连续性，在面边界S23与S52之间有图像内容不连续性，以及在面边界S33与S42之间有图像内容不连续性。[0040] 更进一步地，根据紧凑的CMP布局204，正方形投影面的包装可能导致相邻正方形投影面之间的图像内容连续性边缘。关于顶子帧，正方形投影面“右”的面边界S14与正方形投影面“正”的面边界S22连接，以及正方形投影面“正”的面边界S24与正方形投影面“左”的面边界S32连接，其中在面边界S14与S22之间有图像内容连续性，以及在面边界S24以及S32之间有图像内容连续性。关于底子帧，正方形投影面“底”的面边界S61与正方形投影面“背”的面边界S53连接，以及正方形投影面“背”的面边界S51与正方形投影面“顶”的面边界S43连接，其中在面边界S61与S53之间有图像内容连续性，以及在面边界S51以及S43之间有图像内容连续性。[0041] 此外，紧凑的CMP布局204具有顶部不连续性边界(其包含正方形投影面“右”、“正”以及“左”的面边界S11、S21、S31)、底部不连续性边界(其包含正方形投影面“底”、“背”以及“顶”的面边界S64、S54、S44)、左边不连续性边界(其包含正方形投影面“右”以及“底”的面边界S12、S63)以及右边不连续性边界(其包含正方形投影面“左”以及“顶”的面边界S34、S41)。[0042] 根据紧凑的CMP布局204，在顶子帧与底子帧之间的图像内容不连续性边缘包括在正方形投影面“右”与“底”之间的图像内容不连续性边缘，在正方形投影面“正”与“背”之间的图像内容不连续性边缘，以及在正方形投影面“左”与“顶”之间的图像内容不连续性边缘。由于在顶子帧与底子帧之间的图像内容不连续边缘的对侧的像素不是“真的”相邻像素，典型的SAO滤波器将会降低重构的基于投影的帧R/R’的顶子帧与底子帧之间的图像内容不连续性边缘周围的图像质量，该典型的SAO滤波器将典型的SAO滤波处理应用到位于顶子帧的底部子帧边界的像素以及位于底子帧的顶部子帧边界的像素。此外，由于在图像边界外没有相邻像素可用的事实，典型的SAO滤波器禁用位于图像边界的像素的SAO滤波。[0043] 为了解决这些问题，本发明提出了能够在编码器侧的SAO滤波器134以及解码器侧的SAO滤波器144中实施的新颖的基于填充的SAO滤波方法。当重构的基于投影的帧R/R’采用紧凑的CMP布局204时，SAO滤波器134/144能够找到用于适当处理不连续性图像边界(如，图2中示出的S11、S21、S31、S12、S63、S64、S54、S44、S34或S41)与/或不连续性面边缘(如，图2示出的S13、S23、S33、S62、S52或S42)上的像素的SAO滤波所需要的填充像素。参考附图在下文描述提出的基于填充的SAO滤波方法的进一步的细节。[0044] SAO滤波器134/144可以支持两种SAO类型，包括边缘偏移(edgeoffset，EO)模式以及带偏移(bandoffset，BO)模式。对于BO模式，块中当前像素的SAO滤波处理取决于当前像素的强度(intensity)。对于EO模式，块中当前像素的SAO滤波处理取决于当前像素与相邻像素之间的关系。重构的基于投影的帧R/R’中可能不存在至少一个相邻像素，与/或至少一个相邻像素以及当前像素可能在重构的基于投影的帧R/R’的顶子帧与底子帧之间不连续性边缘的对侧。因此，基于填充的SAO滤波方法重点是EO模式。在下文中，假定块是在为其选定的SAO类型为EO模式的条件下进行滤波。[0045] 在本发明的一些实施例中，视频编码器116可以被配置为具有充当子帧缓冲器的两个工作缓冲器140，其中一个子帧缓冲器用于存储具有紧凑的CMP布局204的重构的基于投影的帧R的顶子帧以及从顶子帧的子帧边界延伸的填充区域，以及另一个子帧缓冲器用于存储具有紧凑的CMP布局204的重构的基于投影的帧R的底子帧以及从底子帧的子帧边界延伸的填充区域。类似地，视频解码器122可以配置为具有充当子帧缓冲器的两个工作缓冲器150，其中一个子帧缓冲器用于存储具有紧凑的CMP布局204的重构的基于投影的帧R’的顶子帧以及从顶子帧的子帧边界延伸的填充区域，以及另一个子帧缓冲器用于存储具有紧凑的CMP布局204的重构的基于投影的帧R’的底子帧以及从底子帧的子帧边界延伸的填充区域。SAO滤波器134/144在围绕顶子帧以及底子帧的填充区域中找到填充像素，以及根据存储于子帧缓冲器中的重构的帧数据以及填充像素数据执行SAO滤波处理。[0046] 图3示出了根据本发明实施例的应用到块的SAO滤波方法，该块包含于视频编码器116生成的重构的基于投影帧R内。图4示出了根据本发明实施例的应用到块的SAO滤波方法，该块包含于视频解码器122生成的重构的基于投影的帧R’内。需要注意的是，图3以及图4示出的SAO滤波处理涉及填充像素。[0047] 关于EO模式，SAO滤波器134/144可支持多种像素分类方法。举例来说，而非限制，SAO滤波器134/144可以被配置为支持四个EO类。对于图3示出的SAO滤波方法，分别在步骤320、306、310以及314执行四个EO类的像素分类方法。对于图4示出的SAO滤波方法，在步骤404执行用于所选择的EO类的像素分类方法。因为在编码器侧选择的EO类的信息经由比特流BS被发信到视频解码器122，它通过解码器122解码比特流BS来获得(步骤402)，以及随后SAO滤波器144被告知所选择的EO类(步骤404)。在一个像素分类方法中，块中的每一像素(如，一个亮度CTB中的每一亮度样本，或者一个色度CTB中的每一色度样本)被分类成多个预定形态(category)。[0048] 在步骤302，根据水平图样执行像素分类方法(EO类=0)。在步骤404，根据在EO类=0的条件下的水平图样执行像素分类方法。图5示出了由像素分类(EO类=0)方法使用的水平图样。当前像素的像素值被标记为“c”。相邻像素的像素值被分别标记为“a”以及“b”。例如，当前像素可以根据下面的分类原则被分类成五个类型之一。根据基于填充的SAO滤波方法，水平图样中的至少一个相邻像素可以是填充像素。[0049][0050] 在步骤306，根据垂直图样执行像素分类方法(EO类=1)。在步骤404中，根据在EO类=1的条件下的垂直图样执行像素分类方法。图6示出了由像素分类方法(EO类=1)使用的垂直图样。当前像素的像素值被标记为“c”。相邻像素的像素值被分别标记为“a”以及“b”。例如，根据以上分类原则，当前像素可以被分类成五个形态之一。根据基于填充的SAO滤波方法，垂直图样中的至少一个相邻像素可以是填充像素。[0051] 在步骤310，根据135°对角线图样执行像素分类方法(EO=2)。在步骤404，根据在EO类=2的条件下的135°对角线图样执行像素分类方法。图7示出了由像素分类方法(EO类=2)使用的135°对角线图样。当前像素的像素值被标记为“c”，相邻像素的像素值被分别标记为“a”以及“b”。例如，根据以上分类原则，当前像素可以被分类成五个形态之一。根据基于填充的SAO滤波方法，135°对角线图样中的至少一个相邻像素可以是填充像素。[0052] 在步骤314，根据45°对角线图样执行像素分类方法(EO类=3)。在步骤404，根据在EO类=3的条件下的45°对角线图样执行像素分类方法。图8示出了由像素分类方法(EO类=3)使用的45°对角线图样。当前像素的像素值被标记为“c”。相邻像素的像素值被分别标记为“a”以及“b”。例如，根据以上分类原则，当前像素可以被分类成五个形态之一。根据基于填充的SAO滤波方法，45°对角线图样中的至少一个相邻像素可以是填充像素。[0053] 形态1以及4分别与沿着所选择图样的局部低谷以及局部峰值有关。形态2以及3分别与沿着所选择图样的凹角以及凸角有关。如果当前像素不属于EO形态1‑4，那么当前像素是形态0并且SAO滤波不被应用到当前像素。在这一实施例中，在编码器侧的SAO滤波器134适当地计算对于给定EO类的每一形态1‑4的偏移，并且明确地发信到解码器侧的SAO滤波器144用于有效地减少样本失真，同时在编码器侧SAO滤波器134以及解码器侧的SAO滤波器144两者执行每一像素的分类用于有效地节省边信息(sideinformation)。然而，这仅是示例性的，并不意味着对本发明的限制。应用提出的基于填充的SAO滤波到重构的基于投影的帧的任何SAO滤波器在本发明的范围内。[0054] 编码器侧的SAO滤波器134可以指滤波处理，每一者被用于计算对于给定EO类的形态1‑4的偏移。在步骤304，对于EO类0的形态1的候选偏移被应用于分类为相同的形态1的块中的像素，以及根据率失真优化(rate‑distortionoptimization，RDO)从候选偏移中选择对于EO类0的形态1的最佳偏移；对于EO类0的形态2的候选偏移被应用于分类为相同的形态2的块中的像素，以及根据RDO从候选偏移中选择对于EO类0的形态2的最佳偏移；对于EO类0的形态3的候选偏移被应用于分类为相同的形态3的块中的像素，以及根据RDO从候选偏移中选择对于EO类0的形态3的最佳偏移；以及对于EO类0的形态4的候选偏移被应用于分类为相同的形态4的块中的像素，以及根据RDO从候选偏移中选择对于EO类0的形态4的最佳偏移。根据基于填充的SAO滤波方法，寻找对于EO类0的每一形态1‑4的偏移涉及的一个或多个像素可以是填充像素。[0055] 在步骤308，对于EO类1的形态1的候选偏移被应用于分类为相同形态1的块中的像素，以及根据RDO从候选偏移中选择对于EO类1的形态1的最佳偏移；对于EO类1的形态2的候选偏移被应用于分类为相同形态2的块中的像素，以及根据RDO从候选偏移中选择对于EO类1的形态2的最佳偏移；对于EO类1的形态3的候选偏移被应用于分类为相同形态3的块中的像素，以及根据RDO从候选偏移中选择对于EO类1的形态3的最佳偏移；以及对于EO类1的形态4的候选偏移被应用于分类为相同形态4的块中的像素，以及根据RDO从候选偏移中选择对于EO类1的形态4的最佳偏移。根据基于填充的SAO滤波方法，寻找对于EO类1的每一形态1‑4的偏移所涉及的一个或多个像素可以是填充像素。[0056] 在步骤312，对于EO类2的形态1的候选偏移被应用于分类为相同形态1的块中的像素，以及根据RDO从候选偏移中选择对于EO类2的形态1的最佳偏移；对于EO类2的形态2的候选偏移被应用于分类为相同形态2的块中的像素，以及根据RDO从候选偏移中选择对于EO类2的形态2的最佳偏移；对于EO类2的形态3的候选偏移被应用于分类为相同形态3的块中的像素，以及根据RDO从候选偏移中选择对于EO类2的形态3的最佳偏移；以及对于EO类2的形态4的候选偏移被应用于分类为相同形态4的块中的像素，以及根据RDO从候选偏移中选择对于EO类2的形态4的最佳偏移。根据基于填充的SAO滤波方法，寻找对于EO类2的每一形态1‑4的偏移所涉及的一个或多个像素可以是填充像素。[0057] 在步骤316，对于EO类3的形态1的候选偏移被应用于分类为相同形态1的块中的像素，以及根据RDO从候选偏移中选择对于EO类3的形态1的最佳偏移；对于EO类3的形态2的候选偏移被应用于分类为相同形态2的块中的像素，以及根据RDO从候选偏移中选择对于EO类3的形态2的最佳偏移；对于EO类3的形态3的候选偏移被应用于分类为相同形态3的块中的像素，以及根据RDO从候选偏移中选择对于EO类3的形态3的最佳偏移；以及对于EO类3的形态4的候选偏移被应用于分类为相同形态4的块中的像素，以及根据RDO从候选偏移中选择对于EO类3的形态4的最佳偏移。根据基于填充的SAO滤波方法，寻找对于EO类3的每一形态1‑4的偏移所涉及的一个或多个像素可以是填充像素。[0058] 在步骤318，根据RDO从四个EO类0‑3中选择用于块的最佳EO类。在步骤320，滤波处理被实际应用于块中的每一像素，从而更新重构的基于投影的帧R中的像素的值。[0059] 为块所选择的EO类的信息以及为EO类的形态所选择的偏移的信息可以从视频编码器116被发信到视频解码器122。具体地，在比特流BS中编码的SAO参数包含用于块的SAO类型信息以及偏移信息，该块使用EO模式进行SAO滤波。SAO类型信息包括指示SAO类型是EO模式的一个语法元素以及表明所选择的EO类的另一个语法元素。偏移信息包括指示所选择的EO类的形态1‑4的偏移的语法元素。因此，视频解码器122从解码比特流BS来获得块的SAO参数。在重构的基于投影的帧R’的块中的像素被分类成所选择的EO类的形态1‑4之一后，其中由从解码比特流BS中推导的SAO类型信息指示所选择的EO类，SAO滤波器144将像素所分类的EO形态的偏移添加到像素值(步骤406)，其中EO形态的偏移由从解码比特流BS推导的偏移信息来指示。[0060] 如上所提到的，像素分类处理(步骤302、306、310、314或404)需要多个像素用于一个像素的EO形态分类，以及滤波处理(步骤302、306、310或314)需要多个像素用于一个EO形态的偏移决定。根据提出的被应用于邻近不连续图像边界与/或不连续面边缘的像素的基于填充的SAO滤波方法，一个像素的EO形态分类所需要(或一个EO形态的偏移决定素所需要)的至少一个像素是由SAO滤波器134/144找到的填充像素。[0061] 图9示出了根据本发明实施例的基于填充的SAO滤波概念。如图9的子图(a)示出的，将被分类的当前像素PC位于第一投影面的面边界FB1上。考虑到重构的基于投影的帧中的第一投影面的面边界FB1与第二投影面的面边界FB2连接，并且在面边界FB1与FB2之间的边缘EG_D是图像内容不连续性边缘(即，不连续的面边缘)的情况。例如，面边界FB1以及FB2是图2中示出的S62以及S13，或者图2中示出的S52以及S23，或者图2中示出的S42以及S33。因此，由于不连续投影面，当前像素PC的相邻像素N0、N1以及N2不是“真的”相邻像素。如果非真相邻像素N0、N1以及N2由当前像素的EO形态分类所使用，当前像素PC的SAO滤波可能遭受不正确的分类结果以及不正确的偏移计算/选择。[0062] 如图9中的子图(b)所示，填充被应用到当前像素PC所位于的面边界FB1。因此，非真相邻像素N0、N1以及N2不由当前像素PC的EO形态分类所使用。反而，填充像素D0、D1以及D2替换非真相邻像素N0、N1以及N2，并由当前像素PC的EO形态分类所使用。随着填充像素D0、D1以及D2的适当设定，SAO滤波器134/144可以获得当前像素PC的更精确的分类结果。这样，可以为当前像素PC计算/选择更精确的偏移。[0063] 考虑到第一投影面的面边界FB1是重构的基于投影的帧的一个图像边界的一部分的另一种情况。因此，重构的基于投影的帧没有在边缘EG_D外的像素。换言之，在图9的子图(a)中示出的相邻像素N0、N1以及N2对当前像素PC的EO形态分类是不可用的。如图9的子图(b)所示，填充被应用于当前像素PC所位于的图像边界FB1。因此，创造填充像素D0、D1以及D2去充当当前像素PC的EO形态分类所需要的相邻像素。随着填充像素D0、D1以及D2的适当设定，SAO滤波处理被允许应用于位于图像边界的当前像素PC。[0064] 相同的概念可以被应用于滤波处理，其用于计算对于给定EO类的一个形态的偏移。例如，可以创造填充像素去替代一些在将被SAO滤波的块(如，CTB)中最初可用的重构的像素(如，非真相邻像素)。因此，经历SAO滤波的块(如CTB)可以包括重构的像素(其在块中最初可用)以及填充像素(其从至少一个面边界延伸)。换言之，对于给定EO类的偏移决定涉及填充像素。[0065] 如上所提到的，两个工作缓冲器(如，在编码器侧的工作缓冲器140或在解码器侧的工作缓冲器150)可以用作子帧缓冲器，其中一个子帧缓冲器用于存储具有紧凑的CMP布局204的重构的基于投影的帧R/R’的顶子帧以及从顶子帧的子帧边界延伸的填充区域，以及另一个子帧缓冲器用于存储具有紧凑的CMP布局204的重构的基于投影的帧R/R’的底子帧以及从底子帧的子帧边界延伸的填充区域。因此，像素分类(步骤302、306、310、314以及404)以及滤波处理(步骤304、308、312以及316)之一可以从子帧缓冲器中读取所需要的填充像素。[0066] 图10示出了根据本发明实施例的存储于SAO滤波器134/144的工作缓冲器140/150的重构的帧数据以及填充像素数据的一个布置。假定重构的基于投影的帧采用紧凑的CMP布局204。因此，顶子帧包括正方形投影面“右”、“正”以及“左”，以及底子帧包括正方形投影面“顶”、“背”以及“底”。如上所提到的，在顶子帧的底部子帧边界与底子帧的顶部子帧边界有图像内容不连续性边缘。此外，重构的基于投影的帧R/R’具有不连续性图像边界，其中顶部图像边界也是顶子帧的顶部子帧边界，底部图像边界也是底子帧的底部子帧边界，左边图像边界包括顶子帧的左边子帧边界以及底子帧的左边图像边界，以及右边图像边界包括顶子帧的右边子帧边界以及底子帧的右边图像边界。根据基于填充的SAO滤波方法，填充像素附加到顶子帧以及底子帧的所有子帧边界。[0067] 如图10所示，一个工作缓冲器140/150可以充当用于存储顶子帧(其包括正方形投影面“右”、“正”以及“左”)以及相关填充像素(其包含在从顶子帧的子帧边界延伸的多个填充区域R1‑R8以及C1‑C4)的子帧缓冲器；以及另一个工作缓冲器140/150可以充当用于存储底子帧(其包括正方形投影面“顶”、“背”以及“底”)以及相关填充像素(其包含在从底子帧的子帧边界延伸的多个填充区域R9‑R16以及C5‑C8)的子帧缓冲器。[0068] 在第一填充设计中，可以由边缘像素复制方案找到填充像素。根据该边缘像素复制方案，可以通过直接复制边缘像素获得填充像素，边缘像素包括位于重构的基于投影的帧R/R’的图像边界的像素、位于顶子帧的底部子帧边界的像素以及位于底子帧的顶部子帧边界的像素。图11示出了根据本发明实施例的通过复制边缘像素找到填充像素。填充区域1104从投影面1102的面边界FB延伸。例如，面边界FB可以是图2中示出的面边界S11、S21、S31、S12、S13、S23、S33、S34、S63、S64、S54、S44以及S41之一。有边缘像素P0‑PN位于面边界FB上。通过复制边缘像素P0‑PN从面边界FB延伸填充区域1104。[0069] 在第二填充设计中，从投影面的面边界延伸的填充区域中填充像素可以由球面相邻像素设置，其中填充区域对应的观察球200上的区域邻近于从该观察球200获得投影面的区域。例如，通过使用基于面的方案或基于几何的方案可以找到球面相邻像素。[0070] 根据基于面的方案，由包装于重构的帧中的投影面中的像素的副本直接设置球面相邻像素。在有多个投影面被包装于投影布局中的情况下，球面相邻像素在另一个投影面中找到，该另一个投影面不同于将要被SAO滤波的当前像素所位于的一个投影面。在仅单个投影面被包装于投影布局中的另一个情况下，球面相邻像素在将被SAO滤波的当前像素所位于的相同投影面中找到。[0071] 图12示出了包装于紧凑的CMP布局204的多个正方形投影面之间的图像内容连续性关系。重构的基于投影的帧R/R’的顶子帧SF_T包括正方形投影面“右”、“正”以及“左”。重构的基于投影的帧R/R’的底子帧SF_B包括正方形投影面“顶”、“背”以及“底”。在由相同参考数字标记的面边界之间有图像内容连续性。以底子帧SF_B的正方形投影面“顶”为例，邻近由“4”标记的面边界的顶子帧SF_T中的真正相邻投影面是正方形投影面“左”，邻近由“3”标记的面边界的顶子帧SF_T中的真正相邻投影面是正方形投影面“正”，邻近由“2”标记的面边界的顶子帧SF_T中的真正相邻投影面是正方形投影面“右”。关于包含在正方形投影面“顶”并且邻近由“4”标记的面边界的像素的SAO滤波，通过复制包含在正方形投影面“左”并且邻近由“4”标记的面边界的像素，可以从正方形投影面“左”找到球面相邻像素(其是SAO滤波所需要的填充像素)。关于包含在正方形投影面“顶”并且邻近由“3”标记的面边界的像素的SAO滤波，通过复制包含在正方形投影面“正”并且邻近由“3”标记的面边界的像素，可以从正方形投影面“正”找到球面相邻像素(其是SAO滤波所需要的填充像素)。关于包含在正方形投影面“顶”并且邻近由“2”标记的面边界的像素的SAO滤波，通过复制包含在正方形投影面“右”并且邻近由“2”标记的面边界的像素，可以从正方形投影面“右”找到球面相邻像素(其是SAO滤波所需要的填充像素)[0072] 请结合图12参考图10。通过复制正方形投影面“背”的图像区域S1并随后适当地旋转所复制的图像区域，获得从正方形投影面“右”的左边面边界延伸的填充区域R1，其中填充区域R1对应的观察球200上的区域邻近于从该观察球200上获得正方形投影面“右”的区域。通过复制正方形投影面“顶”的图像区域S2，获得从正方形投影面“右”的顶部面边界延伸的填充区域R2，其中填充区域R2对应的观察球200上的区域邻近于从该观察球200上获得正方形投影面“右”的区域。通过复制正方形投影面“顶”的图像区域S3并随后适当地旋转所复制的图像区域，获得从正方形投影面“正”的顶部面边界延伸的填充区域R3，其中填充区域R3对应的观察球200上的区域邻近于从该观察球200上获得正方形投影面“正”的区域。通过复制正方形投影面“顶”的图像区域S4并随后适当地旋转所复制的图像区域，获得从正方形投影面“左”的顶部面边界延伸的填充区域R4，其中填充区域R4对应的观察球200上的区域邻近于从该观察球200上获得正方形投影面“左”的区域。[0073] 通过复制正方形投影面“背”的图像区域S5并随后适当地旋转所复制的图像区域，获得从正方形投影面“左”的右边面边界延伸的填充区域R5，其中填充区域R5对应的观察球200上的区域邻近于从该观察球200上获得正方形投影面“左”的区域。通过复制正方形投影面“底”的图像区域S6，获得从正方形投影面“左”的底部面边界延伸的填充区域R6，其中填充区域R6对应的观察球200上的区域邻近于从该观察球200上获得正方形投影面“左”的区域。通过复制正方形投影面“底”的图像区域S7并随后适当地旋转所复制的图像区域，获得从正方形投影面“正”的底部面边界延伸的填充区域R7，其中填充区域R7对应的观察球200上的区域邻近于从该观察球200上获得正方形投影面“正”的区域。通过复制正方形投影面“底”的图像区域S8并随后适当地旋转所复制的图像区域，获得从正方形投影面“右”的底部面边界延伸的填充区域R8，其中填充区域R8对应的观察球200上的区域邻近于从该观察球200上获得正方形投影面“右”的区域。[0074] 通过复制正方形投影面“正”的图像区域S9并随后适当地旋转所复制的图像区域，获得从正方形投影面“底”的左边面边界延伸的填充区域R9，其中填充区域R9对应的观察球200上的区域邻近于从该观察球200上获得正方形投影面“底”的区域。通过复制正方形投影面“右”的图像区域S10并随后适当地旋转所复制的图像区域，获得从正方形投影面“底”的底部面边界延伸的填充区域R10，其中填充区域R10对应的观察球200上的区域邻近于从该观察球200上获得正方形投影面“底”的区域。通过复制正方形投影面“右”的图像区域S11并随后适当地旋转所复制的图像区域，获得从正方形投影面“背”的底部面边界延伸的填充区域R11，其中填充区域R11对应的观察球200上的区域邻近于从该观察球200上获得正方形投影面“背”的区域。通过复制正方形投影面“右”的图像区域S12，获得从正方形投影面“顶”的底部面边界延伸的填充区域R12，其中填充区域R12对应的观察球200上的区域邻近于从该观察球200上获得正方形投影面“顶”的区域。[0075] 通过复制正方形投影面“正”的图像区域S13并随后适当地旋转所复制的图像区域，获得从正方形投影面“顶”的右边面边界延伸的填充区域R13，其中填充区域R13对应的观察球200上的区域邻近于从该观察球200上获得正方形投影面“顶”的区域。通过复制正方形投影面“左”的图像区域S14并随后适当地旋转所复制的图像区域，获得从正方形投影面“顶”的顶部面边界延伸的填充区域R14，其中填充区域R14对应的观察球200上的区域邻近于从该观察球200上获得正方形投影面“顶”的区域。通过复制正方形投影面“左”的图像区域S15并随后适当地旋转所复制的图像区域，获得从正方形投影面“背”的顶部面边界延伸的填充区域R4，其中填充区域R15对应的观察球200上的区域邻近于从该观察球200上获得正方形投影面“背”的区域。通过复制正方形投影面“左”的图像区域S16，获得从正方形投影面“底”的顶部面边界延伸的填充区域R16，其中填充区域R16对应的观察球200上的区域邻近于从该观察球200上获得正方形投影面“底”的区域。[0076] 关于填充区域C1‑C4，它们可以通过复制顶子帧的四个角落像素来生成。具体地，通过复制正方形投影面“右”的最上一列的最左像素生成填充区域C1中的填充像素，通过复制正方形投影面“左”的最上一列的最右像素生成填充区域C2中的填充像素，通过复制正方形投影面“右”的最下一列的最左像素生成填充区域C3中的填充像素，以及通过复制正方形投影面“左”的最下一列的最右像素生成填充区域C4中的填充像素。[0077] 关于填充区域C5‑C8，它们可以通过复制底子帧的四个角落像素来生成。具体地，通过复制正方形投影面“底”的最上一列的最左像素生成填充区域C5中的填充像素，通过复制正方形投影面“顶”的最上一列的最右像素生成填充区域C6中的填充像素，通过复制正方形投影面“底”的最下一列的最左像素生成填充区域C7中的填充像素，以及通过复制正方形投影面“顶”的最下一列的最右像素生成填充区域C8中的填充像素。[0078] 或者，由使用基于几何的方案找到球面相邻像素。根据基于几何的方案，球面相邻像素包含在可以由3D投影找到的填充区域中。在有多个投影面包装于投影布局的情况下，基于几何的方案将几何映射应用到在投影面的延伸区域(extendedarea)上的已投影像素来找到在另一个投影面上的点，以及从该点推导球面相邻像素。在仅单个投影面包装于投影布局的另一个情况下，基于几何的方案将几何映射应用到在投影面的延伸区域上的已投影像素来找到在相同投影面的点，以及从该点推导球面相邻像素。[0079] 图13示出了根据本发明实施例的由基于几何的方案找到球面相邻像素。需要为面B(如，立方体201的底面)生成一个填充区域。为了确定在面B的延伸区域B’上的已投影像素(其是球面相邻像素)Q的像素值，找到面A(如，立方体201的正面)上的点P。如图13所示，点P是面A与直线(其从投影中心O(如，观察球200的中心)到已投影像素P)的交叉点。点P的像素值用于设置已投影像素Q的像素值。在点P是面A的整数位置像素的情况下，直接由整数位置像素的像素值设置已投影像素Q的像素值。在点P不是面A的整数位置像素的另一个情况下，执行插值来确定点P的像素值。图14示出了根据本发明实施例的为点P生成已插值的像素值的示例。在这一示例中，由插值对点P附近的四个最近整数位置像素A1、A2、A3以及A4的像素值进行混合用于生成已插值的像素值来充当点P的像素值。因此，已投影像素Q的像素值由点P的已插值的像素值设置。然而，这一插值设计仅是示例性的，并不意味着对本发明的限制。事实上，取决于实际设计考虑，由基于几何的方案使用的插值滤波器可以是最近的相邻滤波器、双线性滤波器(bilinearfilter)、双三次滤波器(bicubicfilter)或兰索斯滤波器(Lanczosfilter)。[0080] 因此，通过应用几何填充到顶子帧的子帧边界可以确定顶子帧的填充区域R1‑R8以及C1‑C4中的球面相邻像素，以及通过应用几何填充到底子帧的子帧边界可以确定底子帧的填充区域R9‑R16以及C5‑C8中的球面相邻像素。[0081] 因为顶子帧以及相关填充区域R1‑R8以及C1‑C4被存储于工作缓冲器140/150以及底子帧以及相关填充区域R9‑R16以及C5‑C8被存储于另一个工作缓冲器140/150，SAO滤波器134/144可以对工作缓冲器140/150执行像素分类(其用于将块中的像素分类成对于给定EO类的多个形态之一)与/或滤波处理(其用于计算对于给定EO类的每一形态1‑4的偏移)。[0082] 例如，当将由图5示出的水平图样分类的当前像素包含在一个正方形投影面并且在子帧边界时，可以从为图10示出的填充区域R1‑R16之一的填充区域中获得相邻像素之一；当将由图6示出的垂直图样分类的当前像素包含在一个正方形投影面并且在子帧边界时，可以从为图10示出的填充区域R1‑R16之一的填充区域获得相邻像素之一；当将由图7示出的135°对角线图样分类的当前像素包含在一个正方形投影面并且在子帧边界时，可以从为图10示出的填充区域R1‑R16以及C1‑C8之一的填充区域获得相邻像素之一；以及当将由图8示出的45°对角线图样分类的当前像素包含在一个正方形投影面并且在子帧边界时，可以从为图10示出的填充区域R1‑R16以及C1‑C8之一的填充区域获得相邻像素之一。[0083] 对于另一个示例，当块(如，CTB)跨过两个投影面的面边界之间的图像内容不连续性边缘时，可以从为图10示出的填充区域R6‑R8以及R14‑R16之一的填充区域获得一个或多个填充像素，以及可以被用于计算对于给定EO类的一个EO形态的偏移。[0084] 为了简便，因为由边缘像素复制方案找到相邻像素，被应用于邻近顶子帧与底子帧之间的图像内容不连续性边缘的像素的SAO滤波更加精确，基于面的方案或基于几何的方案在依附到顶子帧的底部子帧边界以及底子帧的顶部子帧边界的填充区域中是可用的。此外，因为可以由边缘像素(其在重构的基于投影的帧R/R’中已经可用)或球面相邻像素(其可因为被投影到包装于360VR布局中的多个投影面的360VR内容的固有的几何连续性特性被找到)设置相邻像素，采用提出的基于填充的SAO滤波方法的SAO滤波器134/144被允许应用SAO滤波到位于重构的基于投影的帧R/R’的图像边界的像素。[0085] 在本发明的一些实施例中，边缘像素复制方案/基于面的方案/基于几何的方案找到相邻像素(其充当两个子帧外的填充像素)并在SAO滤波处理之前将所找到的相邻像素存储到子帧缓冲器(如，工作缓冲器140/150)。在缓冲器大小与计算复杂度之间有权衡。为了减少工作缓冲器140/150的内存使用，可以以实时的方式由边缘像素复制方案/基于面的方案/基于几何的方案找到相邻像素(填充像素)。因此，在SAO滤波处理期间，当需要时可以动态地填充/创造位于当前处理的子帧外的相邻像素。当在SAO滤波器134以及144的一个或两者中实施相邻像素(填充像素)的实时计算时，视频编码器116被允许具有充当图像缓冲器的单个工作缓冲器140，用于缓冲重构的基于投影的帧R，与/或视频解码器122被允许具有充当图像缓冲器的单个工作缓冲器150，用于缓冲重构的基于投影的帧R’。由于在内存装置中创造图像缓冲器而不需要用于存储填充像素的额外区域的事实，缓冲器需求得到缓解。然而，由于按需找到所需要填充像素的实时计算，基于填充的SAO滤波方法的运行时间可能更长。[0086] 在上述实施例中，填充依附到包含在重构的基于投影的帧R/R’的每一子帧的子帧边界。然而，这仅是示例性的目的，并不意味着对本发明的限制。或者，填充可以依附到包含在重构的基于投影的帧R/R’的每一投影面的面边界。根据应用于邻近连续性面边缘的提出的基于填充的SAO滤波方法，一个像素的EO形态分类所需要(或一个EO形态的偏移确定所需要的)的至少一个像素是由SAO滤波器134/144找到的的填充像素。[0087] 请再次参考图9。考虑到重构的基于投影的帧中第一投影面的面边界FB1与第二投影面的面边界FB2连接，并且在面边界FB1与FB2之间的边缘EG_D是图像内容连续性边缘(即，连续性面边缘)的情况。即，由于连续性投影面，在第一投影面的面边界FB1与第二投影面的面边界FB2之间有图像内容连续性。例如，面边界FB1以及FB2是图2中示出的S14以及S22，或者是图2中示出的S24以及S32，或者是图2中示出的S61以及S53，或者是图2中示出的S51以及S43。然而，由于所采用的360VR投影，跨过边缘EG_D的连续图像内容在边缘EG_D可能是弯曲的。如果图9的子图(a)示出的相邻像素N0、N1以及N2由当前像素PC的EO形态分类使用，当前像素PC的SAO滤波可能遭受较不精确的分类结果以及较不精确的偏移计算/选择。[0088] 如图9的子图(b)所示，填充被应用于当前像素PC所位于的面边界FB1。因此，填充像素D0、D1以及D2替换第二投影面中的相邻像素N0、N1以及N2，并由第一投影面中的当前像素PC的EO形态分类所使用。随着填充像素D0、D1以及D2的适当的设计，SAO滤波器134/144可以获得当前像素PC的更精确的分类结果。这样，可以为当前像素PC计算/选择更精确的偏移。[0089] 相同的概念可以被应用于滤波处理，其用于计算对于给定EO类的一个形态的偏移。例如，可以创造填充像素来替换将被SAO滤波的块(如，CTB)中最初可用的一些重构像素(如，非真相邻像素)。因此，经历SAO滤波的块可以包括重构的像素(其在块中最初可用)以及填充像素(其从至少一个面边界延伸)。换言之，对于给定EO类的偏移确定涉及填充像素。[0090] 图15示出了根据本发明实施例的存储于SAO滤波器134/144的工作缓冲器140/150中的重构的帧数据以及填充像素数据的另一个布置。假定重构的基于投影的帧R/R’采用紧凑的CMP布局204。因此，被添加到正方形投影面“右”、“正”、“左”、“顶”、“背”以及“底”的面边界的填充包括被添加到顶子帧以及底子帧的子帧边界的填充以及被添加到其为连续投影面的相邻正方形投影面之间的连续性面边界的填充。以正方形投影面“右”为例，通过边缘像素复制方案、基于面的方案或者基于几何的方案可以生成填充区域R1、R2、R8，以及通过基于几何的方案可以生成或通过复制角落像素生成填充区域C1、C3、C9、C10。关于填充区域R17，其可以由边缘像素复制方案或基于几何的方案生成。需要注意的是，在正方形投影面“右”的右边面边界与正方形投影面“正”的左边面边界之间有图像内容连续性。换言之，正方形投影面“右”中的图像区域S17以及正方形投影面“正”中的相邻图像区域S18在正方形投影面“右”与“正”之间的图像内容连续性边缘的对侧。填充区域R17充当正方形投影面“右”的右边面边界的延伸。当球面相邻像素被找到并用作填充区域R17的填充像素时，填充区域R17对应的观察球200上的区域邻近于从观察球200上获得正方形投影面“右”的区域。换言之，填充区域R17是正方形投影面“右”中图像区域S17的球面相邻。[0091] 视频编码器116可以被配置为具有充当投影面缓冲器的6个工作缓冲器140。此外，视频解码器122可以配置为具有充当投影面缓冲器的工作缓冲器150。第一投影面缓冲器用于存储正方形投影面“右”以及从面边界延伸的相关填充区域。第二投影面缓冲器用于存储正方形投影面“正”以及从面边界延伸的相关填充区域。第三投影面缓冲器用于存储正方形投影面“左”以及从面边界延伸的填充区域。第四投影面缓冲器用于存储正方形投影面“顶”以及从面边界延伸的相关填充区域。第五投影面缓冲器用于存储正方形投影面“背”以及从面边界延伸的相关填充区域。第六投影面缓冲器用于存储正方形投影面“底”以及从面边界延伸的相关填充区域。[0092] SAO滤波器134/144对存储于投影面缓冲器中的数据执行SAO滤波处理。为了减少工作缓冲器140/150的内存使用，以实时(on‑the‑fly)的方式由边缘像素复制方案/基于面的方案/基于几何的方案找到相邻像素(填充像素)。因此，在SAO滤波处理期间，当需要时可以动态地填充/创造位于当前处理的投影面外的相邻像素。当在SAO滤波器134以及144的一个或两者中实施相邻像素(填充像素)的实时计算时，视频编码器116被允许具有充当图像缓冲器的单个工作缓冲器140，用于缓冲重构的基于投影的帧R，与/或视频解码器122被允许具有充当图像缓冲器的单个工作缓冲器150，用于缓冲重构的基于投影的帧R’。[0093] 当填充区域(图10或图15示出的填充区域之一)中的填充像素由基于几何的方案找到时，在SAO滤波处理后，填充区域中的填充像素可以直接被丢弃或者由新的填充像素重写。或者，包含在填充区域(如，图10或图15中示出的填充区域之一)中的填充像素可以用重构的基于投影的帧R/R’中的像素混合来更新重构的基于投影的帧R/R’中的像素。因此，SAO滤波器134/144可以进一步被配置为处理SAO滤波后的混合。[0094] 图16示出了根据本发明实施例的混合处理。包含在填充区域中的球面相邻像素T’由基于几何的方案找到以及包含在包装于重构的基于投影的帧R/R’帧的正方形投影面“顶”中的像素T被映射到观察球200上的相同点S。在完成重构的基于投影的帧R/R’的SAO滤波后，通过混合函数p’=p*w+q*(1‑w)，球面相邻像素T’的像素值q用于更新像素T的像素值p，以及w表示在[0,1]之间的权重值。[0095] 在上述实施例中，由SAO滤波器134/144采用提出的基于填充的SAO滤波方法来处理邻近重构的基于投影的帧R/R’的子帧边界(或面边界)的像素的SAO滤波，该重构的基于投影的帧R/R’具有包装在基于立方体的投影布局(如，紧凑的CMP布局204)中的多个投影面。然而，这仅是说明的目的，并不意味着对本发明的限制。或者，可以由SAO滤波器134/144采用提出的基于填充的SAO滤波方法来处理邻近包装于不同的投影布局的重构的基于投影的帧R/R’的子帧边界(或面边界)的的像素的SAO滤波。例如，360VR投影布局L_VR可以是等矩形投影(equirectangularprojection，ERP)布局、填充的等矩形投影(paddedequirectangularprojection，PERP)布局、八面体投影(octahedronprojection)布局、二十面体投影(icosahedronprojection)布局、截断正棱锥(truncatedsquarepyramid，TSP)布局、分段球面投影(segmentedsphereprojection，SSP)布局或旋转的球面投影布局。[0096] 本领域普通技术人员将容易观察到，在保留本发明教导的同时可以对装置以及方法进行许多修改以及替换。因此，上述公开应当被解释为仅由所附权利要求的范围以及边界所限定。

专利地区：台湾

专利申请日期：2019-03-21

专利公开日期：2024-07-26

专利公告号：CN111936929B