使用交叉分量线性模型的视频编解码实用新型专利

专利名称：使用交叉分量线性模型的视频编解码

专利类型：实用新型专利

专利申请号：CN202111392615.X

专利申请（专利权）人：北京达佳互联信息技术有限公司
权利人地址：北京市海淀区上地西路6号1幢1层101D1-7

专利发明（设计）人：陈漪纹,王祥林,修晓宇

专利摘要：提供了一种方法和计算设备用于视频编解码。该方法可以包括通过使用CU中预定数量的相邻的重建亮度样本和色度样本，导出用于CCLM模式的参数α和参数β；并且通过使用参数α和参数β来生成针对CU的色度样本的最终色度预测值。

主权利要求：
1.一种用于视频解码的方法，包括：
解码视频比特流，以导出与交叉分量线性模型CCLM模式相关联的预测信息；
通过使用编解码单元CU的四个相邻的下采样的亮度样本和四个对应的色度样本，导出用于所述CCLM模式的第一参数α和第二参数β；以及通过使用所述第一参数α和所述第二参数β来生成所述CU中的预测色度样本，其中，所述四个相邻的下采样的亮度样本和四个对应的色度样本包括以下集合之一：从上方相邻样本中的最左侧样本起四分之一宽度处的样本、从左侧相邻样本中的顶部样本起四分之一高度处的样本、左侧相邻样本中的底部样本、以及上方相邻样本中的最右侧样本；
从所述上方相邻样本中的最左侧样本起四分之一宽度处的样本、从所述左侧相邻样本中的顶部样本起四分之一高度处的样本、从所述上方相邻样本中的最左侧样本起四分之三宽度处的样本、以及从所述左侧相邻样本中的顶部样本起四分之三高度处的样本；
从所述上方相邻样本中的最左侧样本起八分之一宽度处的样本、从所述上方相邻样本中的最左侧样本起八分之三宽度处的样本、从所述上方相邻样本中的最左侧样本起八分之五宽度处的样本、以及从所述上方相邻样本中的最左侧样本起八分之七宽度处的样本；以及从所述左侧相邻样本中的顶部样本起八分之一高度处的样本、从所述左侧相邻样本中的顶部样本起八分之三高度处的样本、从所述左侧相邻样本中的顶部样本起八分之五高度处的样本、以及从所述左侧相邻样本中的顶部样本起八分之七高度处的样本。
2.根据权利要求1所述的方法，其中，生成所述预测色度样本包括：使用以下等式获得所述预测色度样本：
Predc(x,y)＝α*rec′L(x,y)+β
其中，predC(x,y)是所述预测色度样本，recL'(x,y)是所述CU的下采样的重建亮度样本，x表示行索引，并且y表示列索引。
3.根据权利要求1所述的方法，其中，导出所述第一参数α和所述第二参数β包括：通过使用相邻的色度样本和它们对应的下采样的亮度样本，导出所述第一参数α和所述第二参数β，其中，每个色度样本和它对应的下采样的亮度样本具有相同的行索引和相同的列索引。
4.根据权利要求3所述的方法，其中，通过使用相邻的色度样本和它们对应的下采样的亮度样本，导出所述第一参数α和所述第二参数β包括：使用以下等式获得所述第一参数α和所述第二参数β：
β＝yA‑αxA
其中，xA、xB、yA和yB是基于所述相邻的色度样本和它们对应的下采样的亮度样本的加权平均被导出的。
5.根据权利要求1所述的方法，其中，如果所述CCLM模式为第一模式，所述四个相邻的下采样的亮度样本和四个对应的色度样本包括：从所述上方相邻样本中的最左侧样本起四分之一宽度处的样本、从所述左侧相邻样本中的顶部样本起四分之一高度处的样本、从所述上方相邻样本中的最左侧样本起四分之三宽度处的样本、以及从所述左侧相邻样本中的顶部样本起四分之三高度处的样本；
其中，所述宽度是所述CU的色度块的宽度，并且所述高度是所述色度块的高度。
6.根据权利要求1所述的方法，其中，如果所述CCLM模式为第二模式，所述四个相邻的下采样的亮度样本和四个对应的色度样本包括：从所述上方相邻样本中的最左侧样本起八分之一宽度处的样本、从所述上方相邻样本中的最左侧样本起八分之三宽度处的样本、从所述上方相邻样本中的最左侧样本起八分之五宽度处的样本、以及从所述上方相邻样本中的最左侧样本起八分之七宽度处的样本；
其中，所述宽度是通过对所述CU的色度块的宽度进行扩展而导出的。
7.根据权利要求1所述的方法，其中，如果所述CCLM模式为第三模式，所述四个相邻的下采样的亮度样本和四个对应的色度样本包括：从所述左侧相邻样本中的顶部样本起八分之一高度处的样本、从所述左侧相邻样本中的顶部样本起八分之三高度处的样本、从所述左侧相邻样本中的顶部样本起八分之五高度处的样本、以及从所述左侧相邻样本中的顶部样本起八分之七高度处的样本；
其中，所述高度是通过对所述CU的色度块的高度进行扩展而导出的。
8.根据权利要求1所述的方法，其中，通过使用四个相邻的下采样的亮度样本和四个对应的色度样本，导出所述第一参数α和所述第二参数β包括：通过使用来自所述四个相邻的下采样的亮度样本中的两个较小亮度样本xA0、xA1的加权平均亮度值xA、来自所述四个相邻的下采样的亮度样本中的两个较大亮度样本xB0、xB1的加权平均亮度值xB、与所述两个较小亮度样本对应的两个色度样本yA0、yA1的加权平均色度值yA以及与所述两个较大亮度样本对应的两个色度样本yB0、yB1的加权平均色度值yB，获得所述第一参数α和所述第二参数β，其中，xA、xB、yA和yB是使用以下等式获得的：
xA＝(w1*xA0+w2*xA1+offset1)＞＞N1；
xB＝(w3*xB0+w4*xB1+offset2)＞＞N2；
yA＝(w1*yA0+w2*yA1+offset1)＞＞N1；
yB＝(w3*yB0+w4*yB1+offset2)＞＞N2；
其中，w1+w2＝(1＜＜N1)，offset1＝1＜＜(N1‑1)，w3+w4＝(1＜＜N2)，offset2＝1＜＜(N2‑1)，其中，w1为第一权重因子，w2为第二权重因子，w3为第三权重因子，w4为第四权重因子，N1为第一平均值，N2为第二平均值，offset1为第一偏移因子，并且offset2为第二偏移因子。
9.一种计算设备，包括：
至少一个处理器；
耦合到所述至少一个处理器的非暂时性存储装置；以及
存储在所述非暂时性存储装置中的多个程序，所述多个程序当由所述处理器执行时，使所述计算设备执行根据权利要求1‑8中的任一项所述的方法。
10.一种计算机可读存储介质，其存储至少一个程序，所述至少一个程序在由计算设备的至少一个处理器执行时，使得所述计算设备执行根据权利要求1‑8中的任一项所述的方法。
11.一种计算机程序产品，包括至少一个指令，所述至少一个指令在由至少一个处理器执行时，使得所述至少一个处理器执行根据权利要求1‑8中的任一项所述的方法。
12.一种用于视频编码的方法，包括：
通过使用编解码单元CU的四个相邻的下采样的亮度样本和四个对应的色度样本，导出用于交叉分量线性模型CCLM模式的第一参数α和第二参数β；
通过使用所述第一参数α和所述第二参数β来生成所述CU中的预测色度样本；以及将与所述CCLM模式相关联的预测信息编码到视频比特流中，其中，所述四个相邻的下采样的亮度样本和四个对应的色度样本包括以下集合之一：从上方相邻样本中的最左侧样本起四分之一宽度处的样本、从左侧相邻样本中的顶部样本起四分之一高度处的样本、左侧相邻样本中的底部样本、以及上方相邻样本中的最右侧样本；
从所述上方相邻样本中的最左侧样本起四分之一宽度处的样本、从所述左侧相邻样本中的顶部样本起四分之一高度处的样本、从所述上方相邻样本中的最左侧样本起四分之三宽度处的样本、以及从所述左侧相邻样本中的顶部样本起四分之三高度处的样本；
从所述上方相邻样本中的最左侧样本起八分之一宽度处的样本、从所述上方相邻样本中的最左侧样本起八分之三宽度处的样本、从所述上方相邻样本中的最左侧样本起八分之五宽度处的样本、以及从所述上方相邻样本中的最左侧样本起八分之七宽度处的样本；以及从所述左侧相邻样本中的顶部样本起八分之一高度处的样本、从所述左侧相邻样本中的顶部样本起八分之三高度处的样本、从所述左侧相邻样本中的顶部样本起八分之五高度处的样本、以及从所述左侧相邻样本中的顶部样本起八分之七高度处的样本。
13.根据权利要求12所述的方法，其中，生成所述预测色度样本包括：使用以下等式获得所述预测色度样本：
Predc(x,y)＝α*rec′L(x,y)+β
其中，predC(x,y)是所述预测色度样本，recL'(x,y)是所述CU的下采样的重建亮度样本，x表示行索引，并且y表示列索引。
14.根据权利要求12所述的方法，其中，导出所述第一参数α和所述第二参数β包括：通过使用相邻的色度样本和它们对应的下采样的亮度样本，导出所述第一参数α和所述第二参数β，其中，每个色度样本和它对应的下采样的亮度样本具有相同的行索引和相同的列索引。
15.根据权利要求14所述的方法，其中，通过使用相邻的色度样本和它们对应的下采样的亮度样本，导出所述第一参数α和所述第二参数β包括：使用以下等式获得所述第一参数α和所述第二参数β：
β＝yA‑αxA
其中，xA、xB、yA和yB是基于所述相邻的色度样本和它们对应的下采样的亮度样本的加权平均被导出的。
16.根据权利要求12所述的方法，其中，如果所述CCLM模式为第一模式，所述四个相邻的下采样的亮度样本和四个对应的色度样本包括：从所述上方相邻样本中的最左侧样本起四分之一宽度处的样本、从所述左侧相邻样本中的顶部样本起四分之一高度处的样本、从所述上方相邻样本中的最左侧样本起四分之三宽度处的样本、以及从所述左侧相邻样本中的顶部样本起四分之三高度处的样本；
其中，所述宽度是所述CU的色度块的宽度，并且所述高度是所述色度块的高度。
17.根据权利要求12所述的方法，其中，如果所述CCLM模式为第二模式，所述四个相邻的下采样的亮度样本和四个对应的色度样本包括：从所述上方相邻样本中的最左侧样本起八分之一宽度处的样本、从所述上方相邻样本中的最左侧样本起八分之三宽度处的样本、从所述上方相邻样本中的最左侧样本起八分之五宽度处的样本、以及从所述上方相邻样本中的最左侧样本起八分之七宽度处的样本；
其中，所述宽度是通过对所述CU的色度块的宽度进行扩展而导出的。
18.根据权利要求12所述的方法，其中，如果所述CCLM模式为第三模式，所述四个相邻的下采样的亮度样本和四个对应的色度样本包括：从所述左侧相邻样本中的顶部样本起八分之一高度处的样本、从所述左侧相邻样本中的顶部样本起八分之三高度处的样本、从所述左侧相邻样本中的顶部样本起八分之五高度处的样本、以及从所述左侧相邻样本中的顶部样本起八分之七高度处的样本；
其中，所述高度是通过对所述CU的色度块的高度进行扩展而导出的。
19.根据权利要求12所述的方法，其中，通过使用四个相邻的下采样的亮度样本和四个对应的色度样本，导出所述第一参数α和所述第二参数β包括：通过使用来自所述四个相邻的下采样的亮度样本中的两个较小亮度样本xA0、xA1的加权平均亮度值xA、来自所述四个相邻的下采样的亮度样本中的两个较大亮度样本xB0、xB1的加权平均亮度值xB、与所述两个较小亮度样本对应的两个色度样本yA0、yA1的加权平均色度值yA以及与所述两个较大亮度样本对应的两个色度样本yB0、yB1的加权平均色度值yB，获得所述第一参数α和所述第二参数β，其中，xA、xB、yA和yB是使用以下等式获得的：
xA＝(w1*xA0+w2*xA1+offset1)＞＞N1；
xB＝(w3*xB0+w4*xB1+offset2)＞＞N2；
yA＝(w1*yA0+w2*yA1+offset1)＞＞N1；
yB＝(w3*yB0+w4*yB1+offset2)＞＞N2；
其中，w1+w2＝(1＜＜N1)，offset1＝1＜＜(N1‑1)，w3+w4＝(1＜＜N2)，offset2＝1＜＜(N2‑1)，其中，w1为第一权重因子，w2为第二权重因子，w3为第三权重因子，w4为第四权重因子，N1为第一平均值，N2为第二平均值，offset1为第一偏移因子，并且offset2为第二偏移因子。
20.一种计算设备，包括：
至少一个处理器；
耦合到所述至少一个处理器的非暂时性存储装置；以及
存储在所述非暂时性存储装置中的多个程序，所述多个程序当由所述处理器执行时，使所述计算设备执行根据权利要求12‑19中的任一项所述的方法。
21.一种计算机可读存储介质，其存储至少一个程序，所述至少一个程序在由计算设备的至少一个处理器执行时，使得所述计算设备执行根据权利要求12‑19中的任一项所述的方法。
22.一种计算机程序产品，包括至少一个指令，所述至少一个指令在由至少一个处理器执行时，使得所述至少一个处理器执行根据权利要求12‑19中的任一项所述的方法。 说明书 : 使用交叉分量线性模型的视频编解码[0001] 本申请是2020年1月8日提交的申请号为202080008587.4的同名专利申请的分案申请。[0002] 相关申请的交叉引用[0003] 本申请要求享有于2019年1月9日提交的美国临时申请第62/790,459号的权益。上述申请的全部公开内容通过引用整体并入本文。技术领域[0004] 本公开总体上涉及视频编解码和压缩。更具体地，本公开涉及用于使用交叉分量线性模型执行视频编解码的系统和方法。在特定示例实施例中，描述了用于编解码单元的色度样本的最终色度预测值的方法。背景技术[0005] 本章节提供与本公开相关的背景技术信息。本章节中包含的信息不一定被解释为现有技术。[0006] 可以使用各种视频编解码技术来压缩视频数据。根据一种或多种视频编解码标准执行视频编解码。例如，视频编解码标准包括通用视频编解码(VVC)、联合探索测试模型(JEM)、高效视频编解码(H.265/HEVC)、高级视频编解码(H.264/AVC)、运动图像专家组(MPEG)编解码等。视频编解码通常使用利用视频图像或序列中存在的冗余的预测方法(例如，帧间预测、帧内预测等)。视频编解码技术的一个重要目标是将视频数据压缩成使用较低比特速率的形式，同时避免或最小化视频质量的退化。随着不断演进的视频服务变得可用，需要具有更好压缩效率的编解码技术。发明内容[0007] 本章节提供了本公开内容的一般概述，而并不是对其全部范围或所有特征的全面公开。[0008] 根据本公开的第一方面，一种视频编解码方法在具有一个或多个处理器和存储要由一个或多个处理器执行的多个程序的存储器的计算设备处执行。该方法包括通过使用编解码单元(CU)中预定数量的相邻的重建亮度样本和色度样本，导出用于交叉分量线性模型(cross‑componentlinearmodel，CCLM)模式的第一参数α和第二参数β；并且通过使用第一参数α和第二参数β来生成针对CU的色度样本的最终色度预测值。[0009] 根据本公开的第二方面，提供了一种计算设备。该计算设备包括至少一个处理器；耦合到一个或多个处理器的非暂时性存储装置；以及存储在非暂时性存储装置中的多个程序，这些程序当由处理器执行时，使计算设备执行包括以下各项的动作：通过使用编解码单元(CU)中预定数量的相邻的重建亮度样本和色度样本，导出用于交叉分量线性模型(CCLM)模式的第一参数α和第二参数β；并且通过使用第一参数α和第二参数β来生成针对CU的色度样本的最终色度预测值。附图说明[0010] 在下文中，将结合附图描述本公开的说明性的、非限制性实施例的集合。相关领域的普通技术人员可以基于本文中给出的示例来实现结构、方法或功能的变型，并且这些变型都包含在本公开的范围内。在不存在冲突的情况下，不同实施例的教导可以但不一定彼此组合。[0011] 图1是阐述可以与许多视频编解码标准结合使用的说明性编码器的框图。[0012] 图2是阐述可以与许多视频编解码标准结合使用的说明性解码器的框图。[0013] 图3是视频编解码方法的流程图。[0014] 图4是亮度/色度像素采样网格的示例。[0015] 图5示出了用于导出α和β的样本的位置。[0016] 图6示出了使用最小‑最大(min‑max)方法对α和β的直线导出。[0017] 图7示出了LM_A模式。[0018] 图8示出了LM_L模式。[0019] 图9是针对YUV4:2:2格式的亮度/色度像素采样网格。[0020] 图10是针对YUV4:4:4格式的亮度/色度像素采样网格。[0021] 图11示出了用于MMLM的多个邻居。[0022] 图12示出了三个样本对的示例的位置。[0023] 图13示出了三个样本对的另一示例的位置。[0024] 图14示出了四个样本对的示例的位置。[0025] 图15示出了四个样本对的另一示例的位置。具体实施方式[0026] 本公开中使用的术语旨在说明特定示例，而不是限制本公开。本公开以及所附权利要求中使用的单数形式“一(a)”、“一个(an)”和“该(the)”也指代复数形式，除非上下文中明确包含其他含义。应当理解，本文使用的术语“和/或”是指一个或多个相关联的所列项目的任何或所有可能的组合。[0027] 应当理解的是，虽然术语“第一”、“第二”、“第三”等可以在本文中用于描述各种信息，但这些信息不应受这些术语的限制。这些术语仅用于将一类信息与另一类信息区分开。例如，在不背离本公开的范围的情况下，第一信息可以称为第二信息；并且类似地，第二信息也可以称为第一信息。如本文所使用的，取决于上下文，术语“如果”可以被理解为表示“当……时”或“一经……”或“响应于”。[0028] 在整个说明书中以单数或复数形式提及“一个实施例”、“一种实施例”、“另一实施例”等意味着结合实施例描述的一个或多个特定特征、结构或特性被包括在本公开的至少一个实施例中。因此，在整个说明书的各处以单数或复数形式出现的短语“在一个实施例中”或“在一种实施例中”、“在另一实施例中”等不一定都指代相同的实施例。此外，一个或多个实施例中的特定特征、结构或特性可以以任何合适的方式组合。[0029] 从概念上讲，许多视频编解码标准是相似的，包括之前在背景技术章节中提到的那些标准。例如，几乎所有视频编解码标准都使用基于块的处理，并且共享类似的视频编解码框图来实现视频压缩。[0030] 图1示出了可以与许多视频编解码标准结合使用的说明性编码器100的框图。在编码器100中，视频帧被划分为多个视频块以进行处理。对于每个给定的视频块，基于要么帧间预测方法要么帧内预测方法形成预测。在帧间预测中，基于来自先前重建帧的像素，通过运动估计和运动补偿形成一个或多个预测值。在帧内预测中，基于当前帧中的重建像素形成预测值。通过模式决策，可以选择最佳预测值来预测当前块。[0031] 表示当前视频块与其预测值之间的差的预测残差被发送到变换电路102。变换系数然后从变换电路102发送到量化电路104以用于熵缩减。量化系数然后被馈送到熵编解码电路106以生成压缩的视频比特流。如图1所示，来自帧间预测电路和/或帧内预测电路112的预测相关信息110(诸如，视频块划分信息、运动向量、参考图片索引和帧内预测模式)也通过熵编解码电路106馈送并且保存到压缩的视频比特流114中。[0032] 在编码器100中，还需要与解码器相关的电路以便为了预测的目的而重建像素。首先，通过逆量化116和逆变换电路118重建预测残差。该重建的预测残差与块预测值120组合以生成针对当前视频块的未滤波的重建像素。[0033] 为了改进编解码效率和视觉质量，通常使用环路滤波器。例如，去块滤波器(deblockingfilter)在AVC、HEVC以及VVC的当前版本中可用。在HEVC中，定义了附加的环路滤波器，称为SAO(样本自适应偏移)，以进一步改进编解码效率。在VVC标准的当前版本中，正在积极研究另一种称为ALF(自适应环路滤波器)的环路滤波器，并且它很有可能包括在最终标准中。[0034] 这些环路滤波器操作是可选的。执行这些操作有助于改进编解码效率和视觉质量。它们也可以作为由编码器100做出的决策而被关闭以节省计算复杂度。[0035] 应当注意，帧内预测通常基于未滤波的重建像素，而如果这些滤波器选项被编码器100打开，则帧间预测基于经滤波的重建像素。[0036] 图2是阐述可以与许多视频编解码标准结合使用的说明性解码器200的框图。该解码器200类似于驻留在图1的编码器100中的重建相关部分。在解码器200(图2)中，首先通过熵解码202解码传入的视频比特流201以导出量化系数水平和预测相关信息。然后通过逆量化204和逆变换206处理量化系数水平以获得重建的预测残差。在帧内/帧间模式选择器212中实现的块预测值机制被配置为基于解码的预测信息来执行要么帧内预测208要么运动补偿210。通过使用加法器214将来自逆变换206的重建的预测残差和由块预测值机制生成的预测输出相加，来获得未滤波的重建像素的集合。在环路滤波器打开的情况下，对这些重建像素执行滤波操作以导出最终的重建视频以供输出。[0037] 为了减少交叉分量冗余，VVC中使用交叉分量线性模型(CCLM)预测模式。在VVC开发期间在常用的测试条件下使用YUV格式4:2:0，并且图4中示出了针对YUV格式4:2:0的亮度样本和色度样本的采样网格。亮度样本和色度样本的坐标(下采样的亮度样本)也在图4中示出。如图所示，RecL′[x，y]表示下采样的顶部和左侧相邻的重建亮度样本，RecC′[x，y]表示顶部和左侧相邻的重建色度样本，x和y为像素索引。在本公开中，我们提出了若干方法来降低CCLM参数导出的复杂度。[0038] 本公开总体上涉及对视频数据进行编解码(例如，编码和解码)。更具体地，本公开涉及用于减少视频编解码方法的交叉分量冗余的视频编解码方法和计算设备。使用CCLM预测值模式，针对该CCLM预测值模式基于相同CU的重建亮度样本来预测色度样本。一种计算设备，包括：至少一个处理器；耦合到一个或多个处理器的非暂时性存储装置；以及存储在非暂时性存储装置中的多个程序，该多个程序当由处理器执行时，使计算设备执行视频编解码方法的动作。[0039] 如图3所示，视频编解码方法至少包括以下步骤：[0040] 步骤10：通过使用CU中预定数量的相邻的重建亮度样本和色度样本，导出用于CCLM模式的第一参数α和第二参数β。[0041] 步骤20：通过使用第一参数α和第二参数β来生成针对CU的色度样本的最终色度预测值。[0042] 在步骤20中，通过使用以下等式来生成针对CU的色度样本的最终色度预测值：[0043] Predc(x，y)＝α*rec′L(x，y)+β(1)[0044] 其中predC(x，y)是针对CU的色度样本的最终色度预测值，recL′(x，y)是CU的下采样的重建亮度样本，x表示行索引，y表示列索引。[0045] 亮度样本和色度样本(下采样的亮度样本)的坐标在图5中示出。[0046] 参数α和参数β由以下等式导出(在以下章节中称为最小‑最大方法)：[0047][0048] β＝yA‑αxA(2)[0049] 每个色度样本和它对应的亮度样本被称为样本对。其中yB为最大样本对的色度样本值，yA为最小样本对的色度样本值，xB为最大样本对的亮度样本值，xA为最小样本对的亮度样本值。[0050] 如图6所描绘的，2个点(亮度和色度的对)(A，B)是在相邻亮度样本的集合内的最小值和最大值。图6是最小亮度值与最大亮度值之间的直线的图示，其中根据等式(2)获得线性模型参数α和参数β。[0051] 在图5中，RecL′[x，y]表示下采样的顶部和左侧相邻的重建亮度样本，RecC[x，y]表示顶部和左侧相邻的重建色度样本，x表示行索引，y表示列索引。注意，图5中的方形块是重建亮度样本，这些重建亮度样本对应于图4中描绘的亮度样本的位置；图5中的圆圈对应于图4中描绘的色度样本或下采样的亮度样本的位置。对于正方形的编解码块，直接应用最小‑最大方法。对于非方形的编解码块，首先对较长边界的相邻样本进行子采样以具有与较短边界相同数量的样本。图5示出了CCLM模式中所涉及的左侧和上方样本和当前块的样本的位置。[0052] 最小‑最大方法计算是作为解码过程的一部分执行的，而不仅仅是作为编码器搜索操作。因此，不使用语法将参数α值和参数β值传输给解码器。目前，等式/滤波器(3)用作亮度下采样滤波器以生成下采样的亮度样本。然而，如等式(3)至(19)所示，可以选择不同的等式/滤波器来生成下采样的亮度样本。注意，等式(5)至(10)可以被视为未经下采样过程而直接获取样本。[0053] Rec′L[x，y]＝(RecL[2x，2y]*2+RecL[2x+1，2y]+RecL[2x‑1，2y]+RecL[2x，2y+1]*2+RecL[2x+1，2y+1]+RecL[2x‑1，2y+1]+4)＞＞3(3)[0054] Rec′L[x，y]＝(RecL[2x，2y]+RecL[2x，2y+1]+RecL[2x+1，2y]+RecL[2x+1，2y+1]+2)＞＞2(4)[0055] Rec′L[x，y]＝RecL[2x，2y] (5)[0056] Rec′L[x，y]＝RecL[2x+1，2y] (6)[0057] Rec′L[x，y]＝RecL[2x‑1，2y] (7)[0058] Rec′L[x，y]＝RecL[2x‑1，2y+1] (8)[0059] Rec′L[x，y]＝RecL[2x，2y+1](9)[0060] Rec′L[x，y]＝RecL[2x+1，2y+1] (10)[0061] Rec′L[x，y]＝(RecL[2x，2y]+RecL[2x，2y+1]+1)＞＞1 (11)[0062] Rec′L[x，y]＝(RecL[2x，2y]+RecL[2x+1，2y]+1)＞＞1(12)[0063] Rec′L[x，y]＝(RecL[2x+1，2y]+RecL[2x+1，2y+1]+1)＞＞1(13)[0064] Rec′L[x，y]＝(RecL[2x，2y+1]+RecL[2x+1，2y+1]+1)＞＞1(14)[0065] Rec′L[x，y]＝(2×RecL[2x，2y+1]+RecL[2x‑1，2y+1]+RecL[2x+1，2y+1]+2)＞＞2(15)[0066] Rec′L[x，y]＝(RecL[2x+1，2y]+RecL[2x+1，2y+1]+1)＞＞1(16)[0067] Rec′L[x，y]＝[RecL(2x‑1，2y)+3·RecL(2x，2y)+3·RecL(2x+1，2y)+RecL(2x+2，2y)+RecL(2x‑1，2y+1)+3·RecL(2x，2y+1)+3·RecL(2x+1，2y+1)+RecL(2x+2，2y+1)+8]＞＞4(17)[0068][0069] Rec′L[x，y]＝[RecL(2x，2y‑1)+RecL(2x+1，2y‑1)+2·RecL(2x，2y)+3·RecL(2x+1，2y)+RecL(2x，2y+1)+RecL(2x+1，2y+1)+4]＞＞3(19)[0070] 除了上方模板和左侧模板可以一起用于计算线性模型系数外，它们还可以替代地被使用在其他两种LM模式中，分别称为LM_A模式和LM_L模式。如图7所示，在LM_A模式中，上方模板用于计算线性模型系数。为了得到更多的样本，上方模板被扩展到(W+H)。如图8所示，在LM_L模式中，只使用左侧模板来计算线性模型系数。为了得到更多的样本，左侧模板被扩展到(H+W)。对于非正方形的块，上方模板被扩展到W+W，左侧模板被扩展到H+H。当上方/左侧模板不可用时，将不会检查或用信号通知LM_A/LM_L模式。当可用样本不足时，通过将最右侧(对于顶部模板而言)样本或最下方(对于左侧模板而言)样本复制到最接近的log2数字来填充模板。除了4:2:0YUV格式外，编解码器还可以支持4:2:2格式(如图9所示)和4:4:4格式(如图10所示)。[0071] 如下面描述的，JVET会议中提出了几种改进LM模式的方法。[0072] MMLM‑模式：MMLM是指多模型LM模式，其中使用两个线性模型来导出色度样本预测。重建亮度值被划分为两个类别：针对每个类别应用一个模型。用于每个模型的α参数和β参数的导出与在CCLM模式中一样完成；其中用于导出参数的重建亮度(下采样的)也相应地针对每个模型进行了划分。[0073] MFLM模式：MFLM指的是多滤波器LM模式，其中使用不同的滤波器对预测模型中使用的重建亮度样本进行下采样。使用四个这样的滤波器，并且在比特流中指示/用信号通知所使用的特定滤波器。[0074] LM角度预测：在这种模式下，通过对由两种模式获得的预测样本进行平均来组合MMLM模式和非LM模式。[0075] 基于多个邻居的线性模型(MNLM)使用多个邻居集合进行MMLM导出，以涵盖CU中的亮度样本和色度样本之间的各种线性关系。如图11所描绘的，在MNLM中提出了具有不同邻居集合的三个MMLM：[0076] MMLM:A、B、C、D(包括上方邻居和左侧邻居)[0077] 上方MMLM:C、D、F、H(包括仅上方邻居)[0078] 左侧MMLM：A、B、E、G(包括仅左侧邻居)[0079] 如图11所示，A是第二左侧邻居。B是第一左侧邻居。C是第一上方邻居。D是第二上方邻居。E是第三左侧邻居。F是第三上方邻居。G是第四左侧邻居。H是第四上方邻居。[0080] MNLM中不同的CCLM预测模式在下表中列出：[0081][0082][0083] 模式0、模式1、模式2和模式3使用相同的下采样滤波器，但不同邻居集合用于LM和MMLM导出。[0084] 为了降低CCLM参数导出的复杂度，在第一实施例中，使用三个样本对来导出参数α和参数β。如图12所示，样本对包括：左侧相邻样本中的顶部样本(Rec′L[‑1，0]，RecC[‑1，0])，左侧相邻样本中的底部样本(Rec′L[‑1，H‑1]，RecC[‑1，H‑1])，以及上方相邻样本中的最右侧样本(Rec′L[W‑1，‑1]，RecC[W‑1，‑1])。W和H表示色度块的宽度和高度。[0085] 在另一个实施例中，如图13所示，样本对包括：上方相邻样本中的最左侧样本(Rec′L[0，‑1]，RecC[0，‑1])，左侧相邻样本中的底部样本(Rec′L[‑1，H‑1]，RecC[‑1，H‑1])，以及上方相邻样本中的最右侧样本(Rec′L[W‑1，‑1]，RecC[W‑1，‑1])。[0086] 注意，样本对的选择不限于所提到的实施例。三个样本对可以是从上方或左侧重建的相邻样本中选择的任意三个样本对，并且相邻样本不限于仅上方一行或左侧一行。[0087] 在一个实施例中，通过亮度样本比较来识别分别具有最大亮度样本值、中间样本值和最小亮度样本值的样本对。最大样本对和中间样本对的亮度样本值的加权平均被表示为xB(如等式(20)所示)，并且最大样本对和中间样本对的色度样本值的加权平均被表示为yB(如等式(22)所示)；中间样本对和最小样本对的亮度样本值的加权平均被表示为xA(如等式(21)所示)，并且中间样本对和最小样本对的色度样本值的加权平均被表示为yA(如等式(23)所示)。然后使用等式(2)计算参数α和参数β。[0088] xB＝(w1*xmax+w2*xmid+offset1)＞＞N1；(20)[0089] xA＝(w3*xmid+w4*xmin+offset2)＞＞N2； (21)[0090] yB＝(w1*ymax+w2*ymid+offset1)＞＞N1； (22)[0091] yA＝(w3*ymid+w4*ymin+offset2)＞＞N2； (23)[0092] 其中xmax是最大样本对的亮度样本值，xmid是中间样本对的亮度样本值，xmin是最小样本对的亮度样本值，ymax是最大样本对的色度样本值，ymid是中间样本对的色度样本值，ymin是最小样本对的色度样本值；w1+w2＝(1＜＜N1)，offset1＝1<<(N1‑1)；w3+w4＝(1<[0093] 其中w1为第一权重因子，w2为第二权重因子，w3为第三权重因子，w4为第四权重因子；N1为第一平均值，N2为第二平均值；offset1为第一偏移因子，offset2为第二偏移因子。[0094] 在应用相等加权的一个示例中，w1＝1，w2＝1，w3＝1，w4＝1；N1＝1，N2＝1且offset1＝1，offset2＝1。[0095] 在另一示例中，w1＝3，w2＝1，w3＝1，w4＝3；N1＝2，N2＝2且offset1＝2，offset2＝2。[0096] 在又一实施例中，使用i、j、k作为三个样本对的索引，仅在lumai和lumaj、lumai和lumak之间执行两次比较。通过两次比较，三个样本对可以要么完全按亮度值排序，要么被分成两组；一组包含两个较大的值，而另一组包含一个较小的值，或者反之亦然。当值被完全排序时，可以使用上一节中描述的方法。当样本对被分为两组时，分别对同一组中的(多个)亮度样本和色度样本进行加权平均(一组中的单个样本对实际上不需要进行加权平均)。例如，当在一组中有两个样本对时，一组中的两个亮度值以相等的权重取平均，而两个色度值也以相等的权重取平均。这里，将加权平均值用作xA、xB、yA和yB以使用(2)导出CCLM参数。[0097] 在又一实施例中，通过亮度样本比较来识别具有最大亮度样本值的样本对和具有最小亮度样本值的样本对。最大样本对的亮度样本值被表示为xB，并且最大样本对的色度样本值被表示为yB；最小样本对的亮度样本值被表示为xA，并且最小样本对的色度样本值被表示为yA。然后使用等式(2)计算参数α和参数β。[0098] 注意，用于CCLM参数的导出方法不限于所提到的实施例。可以以任何方式使用所选择的三个样本对来导出CCLM参数。[0099] 在第二实施例中，为了降低CCLM参数的导出的复杂度，使用四个样本对来导出参数α和参数β。如图14所示，样本对包括：左侧相邻样本中的顶部样本(Rec'L[‑1,0],RecC[‑1,0])，上方相邻样本中的最左侧样本(Rec'L[0,‑1],RecC[0,‑1])，左侧相邻样本中的底部样本(Rec'L[‑1,H‑1],RecC[‑1,H‑1])，以及上方相邻样本中的最右侧样本(Rec'L[W‑1,‑1],RecC[W‑1,‑1])。[0100] 在另一实施例中，如图15所示，样本对包括：从上方相邻样本中的最左侧样本起四分之一宽度(Rec′L[W/4，‑1]，RecC[W/4，‑1])，从左侧相邻样本中的顶部样本起四分之一高度(Rec′L[‑1，H/4]，RecC[‑1，H/4])，左侧相邻样本中的底部样本(Rec′L[‑1，H‑1]，RecC[‑1，H‑1])，以及上方相邻样本中的最右侧样本(Rec′L[W‑1，‑1]，RecC[W‑1，‑1])。[0101] 注意，样本对的选择不限于所提到的实施例。四个样本对可以是从上方或左侧重建的相邻样本中选择的任何四个样本对，并且相邻样本不限于仅上方一行或左侧一行。例如，一个样本对集合包括：从上方相邻样本中的最左侧样本起四分之一宽度，从左侧相邻样本中的顶部样本起四分之一高度，从上方相邻样本中的最左侧样本起四分之三宽度，从左侧相邻样本中的顶部样本起四分之三高度。[0102] 替代地，另一样本对集合包括：从上方相邻样本中的最左侧样本起八分之一宽度，从上方相邻样本中的最左侧样本起八分之三宽度，从上方相邻样本中的最左侧样本起八分之五宽度，从上方相邻样本中的最左侧样本起八分之七宽度。[0103] 替代地，另一样本对集合包括：从左侧相邻样本中的顶部样本起八分之一高度，从左侧相邻样本中的顶部样本起八分之三高度，从左侧相邻样本中的顶部样本起八分之五高度，从左侧相邻样本中的顶部样本起八分之七高度。[0104] 在一个实施例中，通过亮度样本比较来识别分别具有两个较大亮度样本值和两个较小亮度样本值的样本对。两个较大两个样本对的亮度样本值被表示为xB0、xB1，并且两个较大样本对的色度样本值被表示为yB0、yB1；两个较小样本对的亮度样本值被表示为xA0、xA1，并且两个较小样本对的色度样本值被表示为yA0、yA1。如以下等式，即等式(24)‑(27)所示，然后将xA、xB、yA和yB导出为xA0、xA1、xB0、xB1、yA0、yA1和yB0、yB1的加权平均。然后使用等式(2)计算参数α和参数β。[0105] xA＝(w1*xA0+w2*xA1+offset1)＞＞N1(24)[0106] xB＝(w3*xB0+w4*xB1+offset2)＞＞N2(25)[0107] yA＝(w1*yA0+w2*yA1+offset1)＞＞N1(26)[0108] yB＝(w3*yB0+w4*yB1+offset2)＞＞N2 (27)[0109] 其中w1+w2＝(1<[0110] 在应用相等加权的一个示例中，w1＝1，w2＝1，w3＝1，w4＝1；N1＝1，N2＝1并且offset1＝1，offset2＝1。[0111] 在又一示例中，w1＝3，w2＝1，w3＝1，w4＝3；N1＝2，N2＝2并且offset1＝2，offset2＝2。[0112] 在另一实施例中，通过亮度样本比较来识别分别具有最大亮度样本值和最小亮度样本值的样本对。最大样本对的亮度样本值被表示为xB，并且最大样本对的色度样本值被表示为yB；最小样本对的亮度样本值被表示为xA，并且最小样本对的色度样本值被表示为yA。然后使用等式(2)计算参数α和参数β。[0113] 注意，用于CCLM参数的导出方法不限于所提到的实施例。可以以任何方式使用四个所选择的样本对来导出CCLM参数。[0114] 考虑到这里公开的本发明的说明书和实践，本发明的其他实施例对于本领域技术人员来说将是显而易见的。本申请旨在涵盖本发明的遵循其一般原理的任何变型、用途或适配，并且包括在本领域已知或惯用的与本公开内容的此类偏离。旨在使说明书和示例仅被认为是示例性的，而本发明的真正范围和精神由所附权利要求指明。[0115] 将理解，本发明不限于上面描述和附图中所示的确切示例，并且可以在不背离其范围的情况下进行各种修改和改变。旨在使本发明的范围仅由所附权利要求来限制。[0116] 在一个或多个示例中，所描述的功能可以以硬件、软件、固件或其任何组合实现。如果以软件实现，则功能可以作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质传输并由基于硬件的处理单元执行。计算机可读介质可以包括计算机可读存储介质，其对应于诸如数据存储介质之类的有形介质，或者通信介质，包括例如根据通信协议促进将计算机程序从一个地方转移到另一个地方的任何介质。以此方式，计算机可读介质通常可以对应于(1)非暂时性的有形计算机可读存储介质，或(2)诸如信号或载波之类的通信介质。数据存储介质可以是任何可用介质，其可以由一台或多台计算机或者一个或多个处理器访问以取回指令、代码和/或数据结构以用于实现本申请中描述的实现方式。计算机程序产品可以包括计算机可读介质。[0117] 此外，上述方法可以使用包括一个或多个电路的装置来实现，该一个或多个电路包括专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子组件。该装置可以与其他硬件或软件组件结合使用这些电路来执行上面描述的方法。上面公开的每个模块、子模块、单元或子单元可以至少部分地使用一个或多个电路来实现。[0118] 考虑到这里公开的本发明的说明书和实践，本发明的其他实施例对于本领域技术人员来说将是显而易见的。本申请旨在涵盖本发明的遵循其一般原理的任何变型、用途或适配，并且包括在本领域已知或惯用的与本公开内容的此类偏离。旨在使说明书和示例仅被认为是示例性的，而本发明的真正范围和精神由所附权利要求指明。[0119] 将理解，本发明不限于上面描述和附图中所示的确切示例，并且可以在不背离其范围的情况下进行各种修改和改变。旨在使本发明的范围仅由所附权利要求来限制。

专利地区：北京

专利申请日期：2020-01-08

专利公开日期：2024-07-26

专利公告号：CN114125439B