采用子分区的宽角度帧内预测的制作方法

1.本发明的至少一个实施例一般涉及一种用于视频编码或解码的方法或装置。


背景技术：

2.为了实现高压缩效率，图像和视频译码方案通常采用预测(包括空间和/或运动矢量预测)以及变换以利用视频内容中的空间和时间冗余。通常，帧内或帧间预测用于利用帧内或帧间相关性，然后对原始图像与预测图像之间的差异(通常表示为预测误差或预测残差)进行变换、量化和熵译码。为了重构视频，通过与熵译码、量化、变换和预测相对应的逆处理来对压缩数据进行解码。


技术实现要素：

3.现有技术的缺点和不利可以通过本文描述的一般方面来解决，其涉及编码和解码中的块形状自适应的帧内预测方向。
4.根据第一方面，提供了一种方法。所述方法包含以下步骤：如下确定视频块的矩形子分区的帧内预测方向：在所述子分区的尺寸的比率在特定范围内时，基于所述子分区的尺寸进行确定；以及在所述子分区的尺寸的比率在所述特定范围外时，基于所述视频块的尺寸进行确定；将来自所述视频块的右上方或左下方的参考样本映射为用于所述视频块的所述子分区的预测的右上方或左下方的参考样本；使用来自所述视频块上方的行的参考样本或来自所述视频块的左侧的列的参考样本来预测所述矩形子分区的样本，其中基于所述矩形子分区的尺寸来确定所述视频块上方的所述行或所述视频块的所述左侧的所述列中的参考样本的数目；以及在帧内译码模式中使用所述预测来编码视频块的矩形子分区。
5.根据第二方面，提供了一种方法。所述方法包含以下步骤：如下确定视频块的矩形子分区的帧内预测方向：在所述子分区的尺寸的比率在特定范围内时，基于所述子分区的尺寸进行确定；以及在所述子分区的尺寸的比率在所述特定范围外时基于所述视频块的尺寸进行确定；将来自所述视频块的右上方或左下方的参考样本映射为用于所述视频块的所述子分区的预测的右上方或左下方的参考样本；使用来自所述视频块上方的行的参考样本或来自所述视频块的左侧的列的参考样本来预测所述矩形子分区的样本，其中基于所述矩形子分区的尺寸来确定所述视频块上方的所述行或所述视频块的左侧的所述列中的参考样本的数目；以及在帧内译码模式中使用所述预测来解码视频块的矩形子分区。
6.根据另一方面，提供了一种装置。该装置包括处理器。所述处理器被配置为通过执行上述方法中的任意者来编码视频的块或解码比特流。
7.根据至少一个实施例的另一个一般方面，提供了一种设备，包括根据解码实施例中的任意者的设备；以及以下各项中的至少一者：(i)天线，被配置成接收信号，该信号包括视频块，(ii)频带限制器，被配置成将所接收的信号限制到包括视频块的频带，或(iii)显示器，被配置成显示表示视频块的输出。
8.根据至少一个实施例的另一个一般方面，提供了一种非暂时性计算机可读介质，
其包含根据所描述的编码实施例或变型中的任意者生成的数据内容。
9.根据至少一个实施例的另一个一般方面，提供了一种包括根据所描述的编码实施例或变型中的任意者生成的视频数据的信号。
10.根据至少一个实施例的另一个一般方面，比特流被格式化为包括根据所描述的编码实施例或变型中的任意者生成的数据内容。
11.根据至少一个实施例的另一个一般方面，提供了一种包括指令的计算机程序产品，当计算机执行该程序时，该指令使计算机执行所描述的解码实施例或变型中的任意者。
12.从以下结合附图阅读的示例性实施例的详细描述中，一般方面的这些和其它方面、特征和优点将变得显而易见。
附图说明
13.图1示出了用于vtm中的帧内预测的参考样本。
14.图2示出了用于vtm中的帧内预测的多个参考线。
15.图3示出了针对正方形目标块的vtm中的帧内预测方向。
16.图4示出了4
×
8和8
×
4块的划分的示例。
17.图5示出了除4
×
8、8
×
4和4
×
4之外的所有块的划分的示例。
18.图6示出了非正方形块的宽角度帧内预测。
19.图7示出了isp宽角度从cu高度和宽度被计算。
20.图8示出了在宽角度和水平分裂isp的情况下所使用的参考样品。
21.图9展示用于预测子分区的所提议的参考样本阵列的实例。
22.图10示出了针对两个子分区的示例性情况的vtm中的参考阵列填充的一个示例。
23.图11示出了在水平分裂的情况下从译码单元的顶部参考进行的参考样本映射。
24.图12示出了在水平分裂的情况下从译码单元的顶部参考进行的参考样本映射。
25.图13示出了一般的标准编码方案。
26.图14示出了一般的标准解码方案。
27.图15示出了其中可以实现所描述的实施例的典型处理器布置。
28.图16示出了一般的标准编码方案。
29.图17示出了一般的标准解码方案。
30.图18示出了其中可以实现所描述的实施例的典型处理器布置。
具体实施方式
31.这里描述的实施例属于视频压缩领域，并且涉及视频压缩以及视频编码和解码。
32.通用视频译码(vvc)测试模型4.0(vtm)支持采用子分区的帧内预测(isp)，其中，利用水平或垂直子分区的选项对目标块进行编码。每个子分区的预测使用与目标译码单元相同的预测方向。通过采用适于独立于父译码单元的每个子分区的宽高比的宽角度预测，可以改进子分区预测。其次，子分区的预测使用先前子分区中的解码像素作为参考样本。因此，子分区的右上方或左下方的参考样本可能是不可用的。用于父cu的参考样本可用于改进沿着需要那些样本的方向的预测。
33.在通用视频译码(vvc)测试模型(vtm)中，帧内预测中的任何目标块可以具有67个
预测模式之一。与hevc类似，一种是平面(planar)模式，一种是dc模式，并且剩余的65个是定向模式。65个方向模式选自95个方向，如果目标块是正方形，则包括从45度跨越到
‑
135度的65个规则角度，而当目标块是矩形时，可能包括28个宽角度方向。vtm使用最可能模式(mpm)集合对块的预测模式进行编码，所述最可能模式集合由6个预测模式组成。如果预测模式不属于mpm集合，那么以5或6个位对其进行截断二进制编码。
34.视频压缩中的帧内预测是指使用来自因果相邻块(即，同一帧中已被解码的相邻块)的信息对像素块进行空间预测。这是一种强大的译码工具，因为它允许帧内中的高压缩效率，以及帧间中的高压缩效率，只要没有更好的时间预测。因此，帧内预测已经作为核心译码工具被包括在包括h.264/avc、hevc等的所有视频压缩标准中。在下文中，为了解释的目的，我们将参考通用译码编码(vvc)软件测试模型(vtm)中的帧内预测。
35.在vtm中，视频序列的帧的编码基于四叉树(qt)/多型树(mtt)块结构。帧被分成不重叠的正方形译码树单元(ctu)，ctu都基于速率失真标准经历基于qt/mtt的分裂成为多个译码单元(cu)。为了更容易参考，我们将在本文中可互换地使用术语“cu”和“块”。
36.在帧内预测中，从因果相邻者cu(即，顶部和左侧的cu)空间预测cu。为此目的，vtm使用被称为预测模式的简单空间模型。基于称为参考像素的顶部cu和左侧cu中的解码像素值，编码器为目标块构造不同的预测，并选择导致最佳rd性能的一者。在95个定义的模式中，一个是平面模式(索引为模式0)，一个是dc模式(索引为模式1)，其余93个(索引为模式14
…‑
1、2
…
80)是角模式。在93个角度模式中，根据其形状，对于任何目标cu仅选择65个相邻模式。角模式旨在对帧内的对象的方向结构进行建模。因此，顶部和左侧cu中的经解码的像素值仅沿着所界定的方向重复以填充目标cu。一些预测模式可导致沿顶部及左侧参考边界的不连续性，因此那些预测模式可包含后续后处理(称为依赖于位置的帧内预测组合(pdpc))，其旨在使沿那些边界的像素值平滑。
37.vtm中的帧内预测过程包括三个步骤：(1)参考样本生成(2)样本内预测和(3)预测样本的后处理。图1中示出了参考样本生成过程，其示出了用于vtm中的帧内预测的参考样本。h和w分别表示当前块的高度和宽度。对于大小为hxw的cu，从当前cu的先前重构的顶部和右上方的像素形成顶部上的一行2w解码样本。类似地，从重构的左侧和左下方的像素形成左侧的一列2h样本。左上位置的拐角像素也用于填充顶行与左列参考之间的间隙。如果顶部或左侧的样本中的一些不可用，因为对应cu不在相同切片中，或当前cu在帧边界处，或由于某一其它原因，那么可执行称为参考样本替代的方法。
38.vtm还支持采用多个参考线(mrl)的帧内预测。其思想是基于如图2所示的几组参考线进行预测，然后选择给出最佳速率失真性能的参考线。所使用的参考线以可变长度代码发信号通知给解码器。
39.下一步骤(即样本内预测)包括基于参考样本预测目标cu的像素。如前所述，为了有效地预测不同种类的内容，vtm支持一系列预测模型。平面和dc预测模式用于预测平滑和逐渐变化的区域，而角度预测模式用于捕获不同的方向结构。vtm支持95个定向预测模式，其从
‑
14到
‑
1和从2到80被索引，对于正方形cu，仅使用预测模式2
‑
66。这些预测模式对应于顺时针方向中从45度到
‑
135度的不同预测方向，如图3中所说明，其展示用于正方形目标块的vtm中的帧内预测方向。通常，非正方形块也可以与扩展的预测方向一起使用，但是该图示出了正方形块。数字表示与对应方向相关联的预测模式索引。模式2至33指示水平预测，
而模式34至66指示垂直预测。
40.具有从
‑
14至
‑
1的索引和从67至80的索引的模式为宽角模式，其用于不同形状的矩形块。模式14至1被定义为超出模式2(超出角度45度)并且用于高矩形块(高度大于宽度的块)。类似地，模式67至80被定义为超出模式66(超出角度
‑
135度)并且用于平坦矩形块(宽度大于高度的块)。用于矩形块的宽角模式的数量取决于块的宽高比。在任何情况下，用于任何块的角模式的总数是65，并且模式在方向上总是连续的。
41.本文描述的一般方面旨在改进采用子分区的帧内预测的预测效率。首先，其提出采用其自身的宽角度模式而不是父译码单元的宽角度模式来预测每个子分区。其次，它还提出当父cu的参考样本不可用时，采用这些样本来预测子分区。这两个建议可以被结合到当前vtm码中以改进译码性能。用于并入这些改变的增加的复杂性和存储器要求是最小的，具有一定译码增益的潜力。
42.在通用视频译码(vvc)测试模型(vtm)中，视频序列的帧的编码基于四叉树(qt)/多型树(mtt)块结构。帧被分成不重叠的正方形译码树单元(ctu)，ctu都基于速率失真标准经历基于qt/mtt的分裂成为多个译码单元(cu)。在帧内预测中，从因果相邻者cu(即，顶部和左侧的cu)空间预测cu。为此目的，vtm使用被称为预测模式的简单空间模型。基于顶部和左侧cu中的解码的像素值(称为参考像素)，编码器为目标块构造不同的预测，并选择导致最佳rd性能的一者。
43.在vtm 4.0中，目标块具有在用于整个cu的帧内预测与cu的采用子分区的帧内预测(isp)之间进行选择的选项。在后一预测中，将目标cu划分为两个或四个相等大小的子分区，用一种预测模式对所述子分区进行循序解码。也就是说，独立地解码每一子分区。因此，子分区可受益于来自相邻子分区的经解码样本的可用性，所述相邻子分区是当前子分区的直接相邻者。这又导致更好的预测，并因此导致更高的压缩效率。
44.vtm 4.0还支持宽角度帧内预测(waip)，其允许针对矩形cu使用宽角度预测方向。根据目标块的宽高比，用相应的宽角方向代替一些规则的预测方向。预测方向也已经被适当地修改以适应不同的矩形块形状，使得所定义的预测方向在块的次对角线上对齐。有效地，通过使用宽角度而不是规则角，该方法旨在提供导致更高压缩效率的更好预测。
45.在vtm 4.0中，isp与waip的组合是直接的。对于isp中的每一子分区，预测方向与父cu的预测方向相同。然而，这不是强制性的。由于子分区被独立地解码，所以每个子分区的预测方向可以利用waip独立地决定。其次，除了第一子分区之外，其余子分区使用来自先前子分区的解码的像素作为用于预测的参考样本。这导致了不期望的效果(即，取决于预测方向)，一些参考样本可能不可用。这种情况可以通过使用来自父cu的参考样本来改善。在描述所提出的模式之前，下面在vtm 4.0中简要地呈现isp和waip。为了更容易参考，我们将在本文中可互换地使用术语“cu”和“块”。
46.vtm 4.0中的isp工具根据块大小将亮度帧内预测块垂直地或水平地划分成2或4个子分区。子分区必须具有至少16个样本。因此，大小为4
×
4的块不被划分为子分区，而大小为4
×
8和8
×
4的块仅具有两个分区。所有其它大小的块仅具有四个子分区。子分区可为水平或垂直的。大小为4x8的块可仅具有两个大小为4x4的垂直分区，而大小为8x4的块可仅具有两个大小为4x4的水平分区。类似地，作为另一实例，大小为4
×
16的块可各自具有大小为4
×
4的四个垂直子分区或大小为1
×
16的四个水平子分区。图4和图5示出了两种可能性
的示例。
47.表1：取决于块大小的子分区的数目
48.块尺寸子分区的数目4
×
414
×
8以及8
×
42其他所有情况4
49.对于这些子分区中的每一者，使用父cu的解码的预测模式来构建预测。将该预测信号与解码的残差信号(其通过对编码器所发送的系数进行熵解码、然后对它们进行逆量化和逆变换而生成)相加，以重构子分区中的像素。除了第一子分区之外，每个子分区的重构值将可用于生成下一子分区的预测。
50.以正常次序处理子分区，而不管所利用的帧内模式和分裂如何，即，待处理的第一子分区是含有cu的左上样本且接着循序地向下继续(水平分裂)或向右继续(垂直分裂)的子分区。
51.vtm 4.0还支持采用多个参考线(mrl)的帧内预测。目标块可在第一、第二和第四参考线中选择使用能给出最佳速率失真性能的那一条。采用一个比特(0)或两个比特(10或11)的标志用信号通知选定参考线以分别指示第一参考线或第二与第四参考线之间。在vtm 4.0中，isp仅被应用于具有第一参考线的块。因此，如果块具有除0之外的mrl索引，则isp译码模式将被推断为0，因此它将不被发送到解码器。
52.isp方法已经用作为mpm列表的一部分的帧内模式进行了测试，该mpm列表由67个预测模式中的六个不同模式组成。对于用isp测试的任何块，mpm列表经修改以排除dc模式且使用于水平分裂的水平帧内模式和用于垂直分裂的垂直帧内模式优先。
53.宽角度预测背后的基本思想是在保持预测模式的总数相同的同时根据块形状来适配预测方向。这是通过在块的较大侧添加一些预测方向并在较短侧减少预测方向来完成的。总体目标是提高预测精度，从而导致更高的压缩效率。由于新引入的方向超出了从45度到
‑
135度的角度的180度的通常范围，所以它们被称为宽角度方向。
54.当目标块是正方形时，宽角度不起作用，因为用于块的定义模式保持不变。当目标块是平坦的(即其宽度w大于其高度h)时，去除接近45度的一些模式，并且添加超过
‑
135度的相等数量的宽角度模式。添加的方向被索引为预测模式67、68、
…
等。类似地，当目标块是高的时，去除接近
‑
135度的一些模式，并且添加超过45度的相等数量的宽角度模式。添加的方向被索引为预测模式
‑
1、
‑
2、
…
等，因为预测模式0和1被保留用于平面和dc预测。
55.由于次对角线的方向取决于块的形状，所以所采用的宽角度的总数目取决于块的形状。表2示出了对于不同的块形状，由宽角度模式替换的常规模式的数量。
56.表2：取决于块形状的宽角模式的数目
[0057][0058]
对于任何目标块，从替换的常规模式到宽角度模式的映射按照如下内容进行：
[0059][0060]
在isp的情况下，从常规模式到宽角度模式的映射是使用父cu的高度和宽度而不是子分区的高度和宽度来完成的。不管新模式是宽角度模式还是常规模式，相同的模式用于每个子区域中的预测。这由图7中的例子示出。
[0061]
如上所示，当前对与waip一起的isp的方法是从父cu的宽高比确定预测角度，并将其用于每个子分区中的预测。由于子分区是按顺序但独立地处理的，因此该约束不必是绑定的。由单独的子分区处理产生的第二个问题是一些参考样本的不可用性，其可影响某些方向上的预测。下面我们提供了这些问题的两种解决方案。
[0062]
为了一般性，在下文中我们将假设矩形块具有宽度w和高度h。正方形目标块是w＝h的特殊情况。
[0063]
用于帧内子分区的waip
[0064]
对于采用isp的块，当前vtm代码(vtm 4.0)以正常顺序单独处理每个子分区。在预测过程中，预测工具首先生成分区的顶部上的样本的一个参考阵列和左侧上的样本的一个参考阵列。如果isp分裂是水平的，则使用先前子分区的最后一行中的解码样本来构造顶部
的参考阵列。类似地，如果isp分裂是垂直的，则使用先前子分区的最后一列中的解码样本来构造左侧的参考阵列。这在图8中示出。
[0065]
当前vtm代码根据父cu所需的参考阵列的大小来确定每个分区的参考阵列的大小。我们提出根据子分区的尺寸确定预测方向。作为实现的优点，我们提出也根据分区的尺寸来确定分区的参考阵列的长度。
[0066]
假设w
p
和h
p
表示每个分区的宽度和高度。然后，将顶部和左上的参考阵列的长度分别确定为2*w
p
和2*w
p
，且排除左上像素。
[0067]
对于任何子分区，如图9中所示，从常规模式到宽角度模式的映射按照下述内容进行：
[0068][0069][0070]
只要子分区的宽高比位于表2中给出的有效范围内，上述映射就是有效的。如果wp/hp＞16或wp/hp＜1/16，我们建议使用父cu尺寸用于宽角度推导，如在vtm中所做的。
[0071]
在上述方法的简单变型中，如果子分区具有正方形形状(即，如果wp＝hp)，那么应用通常的预测模式，否则使用cu的尺寸获得宽角度。此简化将避免将宽角度预测模式(从父矩形cu导出)用于正方形子分区。换句话说，仅在子分区为正方形时，才从子分区尺寸导出宽角度，否则从cu尺寸导出宽角度。由于对于正方形形状，不存在宽角度，因此这等效于对于正方形子分区不具有宽角度推导且保持矩形子分区的宽角推导完整。这也在以下的实施例1中呈现。
[0072]
由于isp中的所有子分区具有相等的尺寸，因此针对一个子分区计算的宽角度模式对于所有子分区来说是相同的。
[0073]
缺失的参考样本替代
[0074]
对isp的第二个改进在于使用来自父cu的顶部或左侧的参考样本。这里假设子分区以如vtm 4.0中的正常顺序被处理。对于水平分裂，子分区2以后的顶部参考样本使用来自先前子分区的解码像素。由于先前分区具有与父cu相同的宽度，所以右上参考样本完全不可用。在这种情况下，当前vtm编解码器将使用填充，其中，通过长度w的右上部分重复可用的最后参考像素。这在图10中对于两个子分区的情况进行了说明。类似情况适用于垂直分裂，其中左下参考样本将针对子分区2以后而缺失。在这种情况下，当前vtm编解码器将使用填充，其中，通过长度h的左下部分重复可用的最后参考像素。
[0075]
这些缺失的参考样本可从父cu的顶部参考被替换，如图11中所说明，以用于水平分裂成两个子分区。即，在预测方向之后，从对应的父cu的参考阵列映射缺失的样本。如果即使在替换过程之后仍缺少一些参考样本，则可以应用正常填充过程，其中将重复最后的
参考样本以填充参考阵列。
[0076]
在预测方向之后从相应父cu的参考阵列映射的缺失样本可使用与预测相同的内插过程(线性的，4抽头
…
)。为了降低复杂度，也可以使用最近相邻者(没有内插)。在后一种情况下，它对应于通过与预测角度相对应的像素数目对参考样本进行移位。
[0077]
这种参考样本替换的过程具有不期望的效果，即它可能在从父cu的顶部参考复制像素的位置处产生强度不连续。为了减轻这种影响，可以使用简单的低通滤波器。例如，我们可以使用3抽头滤波器[121]/4。
[0078]
在图8中，顶部参考上的映射样本沿着预测方向定位。另一方法是将cu的所有右上参考样本复制到第二或后续子分区的右上参考样本上，接着在顶部拐角处进行低通滤波以减轻不连续性。这在图12中示出。
[0079]
这个替换过程与是否应用了先前部分中的waip修改无关。它可以在没有waip修改的情况下应用于每个子分区，或者可以与其一起应用。
[0080]
在下文中，我们假设应用isp和waip的任何一般视频编解码器。vtm编解码器是这种编解码器的一个例子。
[0081]
实施例1：在此实施例中，如果目标块在isp中被分裂，那么对于任何预测模式，我们使用父cu的尺寸来确定宽角度，除非子分区具有正方形形状。如果子分区具有正方形形状，那么将规则预测模式应用于所述子分区而不映射到宽角度。如vtm 4.0中的所有其它编解码器参数保持不变。
[0082]
实施例2：在该实施例中，如果目标块在isp中被分裂，对于任何预测模式，我们使用父cu的尺寸来确定宽角度，如在vtm 4中。但是，从第二子分区起，我们从父cu的顶部(左侧)参考阵列替换右上(左下)方的缺失的参考样本以用于水平(垂直)分裂。顶部(左侧)参考阵列上的参考样本沿预测方向定位，如图11所示。如vtm 4.0中的所有其它编解码器参数保持不变。
[0083]
实施例3：在该实施例中，如果目标块在isp中被分裂，对于任何预测模式，我们使用父cu的尺寸来确定宽角度，如在vtm 4中。但是，从第二子分区起，我们从父cu的顶部(左)参考阵列替换右上(左下)方的缺失的参考样本以用于水平(垂直)分裂。如图12所示，对于第二子分区以后，将上部(左侧)的参考阵列上的参考样本直接复制到参考阵列的右上(左下)部分。如vtm 4.0中的所有其它编解码器参数保持不变。
[0084]
实施例4：在此实施例中，如果目标块在isp中被分割，那么对于任何预测模式，我们使用父cu的尺寸来确定宽角度，除非子分区具有正方形形状。如果子分区具有正方形形状，那么将规则预测模式应用于所述子分区而不映射到宽角度。另外，从第二子分区起，我们从父cu的顶部(左侧)的参考阵列替换右上(左下)方的缺失的参考样本以用于水平(垂直)分割。参考样本映射如实施例2或实施例3中那样进行，如vtm 4.0中的所有其它编解码器参数保持不变。
[0085]
实施例5：在此实施例中，如果目标块在isp中被分裂，那么对于任何预测模式，我们使用子分区的尺寸而不是父cu的尺寸来确定宽角度。如果子分区的宽高比(wp/hp)大于16或小于1/16，则将使用父cu的w/h比来计算宽角度，并将其用于所有子分区。另外，从第二子分区起，我们从父cu的顶部(左侧)的参考阵列替换右上(左下)方的缺失的参考样本以用于水平(垂直)分裂。顶部(左侧)的参考阵列上的参考样本沿预测方向定位，如图11所示，如
vtm 4.0中的所有其它编解码器参数保持不变。为了加速预测步骤，可将参考阵列用于其尺寸为父cu的尺寸的两倍的子分区。当使用cu尺寸时，原始参考阵列长度可保持不变。
[0086]
实施例6：在此实施例中，如果目标块在isp中被分裂，那么对于任何预测模式，我们使用子分区的尺寸而不是父cu的尺寸来确定宽角度。如果子分区的宽高比(wp/hp)大于16或小于1/16，则将使用父cu的w/h比来计算宽角度，并将其用于所有子分区。另外，从第二子分区起，我们从父cu的顶部(左侧)参考的右上(左下)替换缺失的参考样本以用于水平(垂直)分裂。如图12所示，对于第二子分区以后，将顶部(左侧)的参考阵列上的参考样本直接复制到参考阵列的右上(左下)部分，如vtm 4.0中的所有其它编解码器参数保持不变。为了加速预测步骤，可将参考阵列用于其尺寸为父cu的尺寸的两倍的子分区。当使用cu尺寸时，原始参考阵列长度可保持不变。
[0087]
实施例7：vtm 4.0使用采用2或4个子分区的isp，条件是每个子分区必须具有最少16个像素。在此实施例中，在每一子分区可为至少单个行或单个列的条件下，我们放松这些约束并将isp应用于所有块形状。视cu大小而定，cu中的子分区的数目也可较高，例如8或16或32。无论水平或垂直分裂，子分区的形状都被限制为相同。如果子分区的宽高比(wp/hp)大于16或小于1/16，则将使用父cu的w/h比来计算宽角度，并将其用于所有子分区。从第二子分区起，我们从父cu的顶部(左侧)参考替换右上(左下)方的缺失的参考样本以用于水平(垂直)分裂。缺失样本的映射如实施例2或实施例3中那样进行。
[0088]
实施例8：在此实施例中，我们放松了所有子分区必须具有相同形状的约束。子分区可具有不相等的形状，但被约束为具有2的幂的高度和宽度，因此子分区的数目无需如实施例1
‑
7中的二的幂，例如，8
×
8块可被分裂成大小为4
×
8、2
×
8和2
×
8的三个分区。实施例1
‑
7中的任意者都可以相应地改变。
[0089]
实施例9：vtm 4.0在不使用mrl的块上使用isp。在该实施例中，我们放松该约束。在一般情况下，即使cu使用多个参考线，也可以应用isp。在一个变型中，如果所述分裂为水平的且预测方向为垂直的，或如果所述分裂为垂直的且预测方向为水平的，那么仅所述第一子分区可使用mrl。在另一变型中，所有子分区可使用mrl而不管分裂类型和预测方向如何。在所有这些变型中，我们可使用实施例1到8中的任一者来计算用于子分区的宽角度及/或从第二子分区起映射缺失的参考样本。
[0090]
实施例10：vtm 4.0仅在亮度分量上使用isp。在该实施例中，我们放宽该约束，并将实施例1
‑
9中的任意者应用于亮度和色度分量。
[0091]
通过结合vtm 4.0参考软件中的变化，如实施例1中那样实现所提出的利用isp的宽角度模式推导。在所有帧内(ai)配置下，利用来自jvet测试序列的一个帧来执行测试。测试方法相对于vtm 4.0锚结果的bd率性能如表3所示。可以看出，在不增加编码器和解码器复杂度的情况下，亮度bd率提高了0.04％。c类和e类序列的增益值得注意，针对亮度所述增益为0.11％。
[0092]
表3：与具有来自ai配置的jvet测试序列的一个帧的vtm 4.0锚相比的实施例1的bd率性能。
[0093][0094]
所描述的一般方面旨在通过改变宽角度推导并通过用来自父cu的参考样本的子分区替换一些子分区的缺失的参考样本来提高isp中的帧内预测效率。优点之一是在没有太多附加复杂性的情况下具有较高的压缩效率。
[0095]
图13中展示用于使用本文所述的一般方面编码视频数据块的方法1300的一个实施例。所述方法在开始方框1301处开始，且控制进行到功能方框1310，其用于按照如下步骤确定视频块的矩形子分区的帧内预测方向：在所述子分区的尺寸的比率在特定范围内时，基于子分区的尺寸进行确定；以及在子分区的尺寸的比率在所述特定范围外时，基于视频块的尺寸进行确定。控制接着从方框1310进行到方框1320以用于将来自视频块的右上方或左下方的参考样本映射为右上方或左下方的参考样本以用于预测视频块的子分区。控制从方框1320进行到块1330，以用于使用来自视频块上方的行的参考样本或来自视频块左侧的列的参考样本来预测矩形子分区的样本，其中基于矩形子分区的尺寸来确定视频块上方的行或视频块左侧的列中的参考样本的数目。控制从方框1330前进到方框1340，以用于使用帧内译码模式中的预测来编码视频块。
[0096]
图14中展示用于使用本文所述的一般方面来解码视频数据块的方法1400的一个实施例。所述方法开始于开始方框1401，且控制进行到功能方框1410，其用于按照如下步骤确定视频块的矩形子分区的帧内预测方向：在所述子分区的尺寸的比率在特定范围内时，基于所述子分区的尺寸进行确定；以及在子分区的尺寸的比率在所述特定范围外时，基于视频块的尺寸进行确定。控制接着从方框1410进行到方框1420，以用于将来自视频块的右上方或左下方的参考样本映射为用于预测视频块的子分区的右上方或左下方的参考样本。控制从方框1420进行到方框1430，其用于使用来自视频块上方的行的参考样本或来自视频块的左侧的列的参考样本来预测矩形子分区的样本，其中基于矩形子分区的尺寸来确定视频块上方的行或视频块左侧的列中的参考样本的数目。控制从方框1430前进到方框1440，以使用帧内译码模式中的预测来对视频块进行编码。
[0097]
图15展示用于编码或解码视频数据块的装置1500的一个实施例。该装置包括处理器1510并且可以通过至少一个端口互连到存储器1520。处理器1510和存储器1520两者还可以具有到外部连接的一个或多个附加互连。
[0098]
处理器1510经配置以使用采用子分区的帧内预测模式来编码或解码视频数据，或者使用采用子分区的帧内预测模式来编码或解码视频数据块。
[0099]
所描述的一般方面旨在通过采用子分区的帧内预测和这些模式所需的必要改变来改进帧内预测效率。优点是更高的压缩效率而没有太多的附加复杂性。
[0100]
本技术描述了多个方面，包括工具、特征、实施例、模型、方法等。这些方面中的许多方面被描述为具有特异性，并且至少为了示出个体特性，通常以可能听起来受限的方式来描述。然而，这是为了描述清楚的目的，并且不限制那些方面的应用或范围。实际上，所有不同的方面可以组合和互换以提供另外的方面。此外，这些方面也可以与在较早的文档中描述的方面组合和互换。
[0101]
本技术中描述和预期的方面可以以许多不同的形式实现。图16、17和18提供了一些实施例，但是可以想到其他实施例，并且对图16、17和18的讨论不限制实现的广度。至少一个方面一般涉及视频编码和解码，并且至少一个其它方面一般涉及传送所生成或编码的比特流。这些和其它方面可以实现为方法、装置、其上存储有用于根据所描述的任何方法来编码或解码视频数据的指令的计算机可读存储介质、和/或其上存储有根据所描述的任何方法生成的比特流的计算机可读存储介质。
[0102]
在本技术中，术语“重构”和“解码”可以互换使用，术语“像素”和“样本”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用。通常，但不是必须的，术语“重构”在编码器侧使用，而“解码”在解码器侧使用。
[0103]
本文描述了各种方法，并且每种方法包括用于实现所描述的方法的一个或多个步骤或动作。除非方法的正确操作需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或使用。
[0104]
本技术中描述的各种方法和其它方面可用于修改模块，例如，如图16、17和18所示的视频编码器100和解码器200的帧内预测、熵译码和/或解码模块(160、360、145、330)。此外，本发明的方面不限于vvc或hevc，并且可应用于例如其它标准和建议，无论是预先存在的还是将来开发的，以及任何此类标准和建议的扩展(包括vvc和hevc)。除非另外指出或在技术上排除，本技术中描述的方面可以单独或组合使用。
[0105]
在本技术中使用各种数值。具体值是出于示例目的，并且所描述的方面不限于这些具体值。
[0106]
图16示出了编码器100。可以设想该编码器100的变型，但是为了清楚起见，下面描述编码器100，而不描述所有预期的变型。
[0107]
在被编码之前，视频序列可以经历预编码处理(101)，例如，对输入颜色图片应用颜色变换(例如，从rgb 4:4:4到ycbcr 4:2:0的转换)，或者执行输入图片分量的重新映射，以便获得对压缩更有弹性的信号分布(例如，使用颜色分量之一的直方图均衡)。元数据可以与预处理相关联并且被附加到比特流。
[0108]
在编码器100中，如下所述，由编码器元件对图片进行编码。以例如cu为单位分区(102)并处理要编码的图片。使用例如帧内或帧间模式来编码每个单元。当以帧内模式对单元进行编码时，其执行帧内预测(160)。在帧间模式中，执行运动估计(175)和补偿(170)。编码器决定(105)使用帧内模式或帧间模式中的来对单元进行编码，并且通过例如预测模式标志来指示帧内/帧间决定。例如，通过从原始图像块中减去(110)预测块来计算预测残差。
[0109]
然后，对预测残差进行变换(125)和量化(130)。对量化的变换系数以及运动矢量和其它语法元素进行熵译码(145)以输出比特流。编码器可以跳过变换，并直接对未变换的残差信号应用量化。编码器可以绕过变换和量化，即，直接对残差进行译码而不应用变换或量化处理。
[0110]
编码器对编码块进行解码，以提供用于进一步预测的参考。对量化的变换系数进行去量化(140)和逆变换(150)以对预测残差进行解码。组合(155)解码的预测残差和预测块，重构图像块。环内滤波器(165)被应用于重构的图像，以执行例如解块/sao(采样自适应偏移)滤波，从而减少编码伪像。将滤波图像存储在参考图片缓冲器(180)中。
[0111]
图17示出了视频解码器200的框图。在解码器200中，如下所述，由解码器元件解码比特流。视频解码器200通常执行与图16中所描述的编码回合互逆的解码回合。编码器100通常还执行视频解码作为编码视频数据的一部分。
[0112]
特别地，解码器的输入包括视频比特流，其可以由视频编码器100生成。比特流首先被熵解码(230)以获得变换系数、运动矢量和其它译码信息。图片分区信息指示图片如何被分区。解码器因此可以根据解码的图片分区信息来划分(235)图片。变换系数被去量化(240)和逆变换(250)以解码预测残差。将解码的预测残差与预测块进行组合(255)，重构图像块。预测块可以从帧内预测(260)或运动补偿预测(即，帧间预测)(275)获得(270)。环内滤波器(265)被应用于重构的图像。将滤波图像存储在参考图片缓冲器(280)中。
[0113]
解码的图片可以进一步经历后解码处理(285)，例如，逆颜色变换(例如，从ycbcr 4:2:0到rgb 4:4:4的转换)或执行在预编码处理(101)中执行的重新映射过程的逆过程的逆重新映射。后解码处理可以使用在预编码处理中导出并且在比特流中用信号通知的元数据。
[0114]
图18示出了其中实现了各个方面和实施例的系统的示例的框图。系统1000可以被实现为包括以下描述的各种组件的设备，并且被配置为执行本文中描述的一个或多个方面。这样的设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收机、个人视频记录系统、连接的家用电器和服务器。系统1000的元件可以单独地或组合地实现在单个集成电路(ic)、多个ic和/或分立组件中。例如，在至少一个实施例中，系统1000的处理和编码器/解码器元件分布在多个ic和/或分立组件上。在各种实施例中，系统1000经由例如通信总线或通过专用输入和/或输出端口通信地耦合到一个或多个其他系统或其他电子设备。在各种实施例中，系统1000被配置为实现本文中描述的一个或多个方面。
[0115]
系统1000包括至少一个处理器1010，其被配置为执行加载在其中的指令，以用于实现例如本文中描述的各个方面。处理器1010可以包括嵌入式存储器、输入输出接口和本领域已知的各种其它电路。系统1000包括至少一个存储器1020(例如，易失性存储器设备和/或非易失性存储器设备)。系统1000包括存储设备1040，其可以包括非易失性存储器和/或易失性存储器，包括但不限于电可擦除可编程只读存储器(eeprom)、只读存储器(rom)、可编程只读存储器(prom)、随机存取存储器(ram)、动态随机存取存储器(dram)、静态随机存取存储器(sram)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备1040可以包括内部存储设备、附接的存储设备(包括可拆卸的和不可拆卸的存储设备)和/或网络可访问的存储设备。
[0116]
系统1000包括编码器/解码器模块1030，其被配置为例如处理数据以提供编码视频或解码视频，并且编码器/解码器模块1030可以包括其自己的处理器和存储器。编码器/解码器模块1030表示可包括在设备中以执行编码和/或解码功能的模块(一个或多个)。如已知的，设备可以包括编码和解码模块中的一个或两个。另外，编码器/解码器模块1030可
实施为系统1000的单独元件或可并入处理器1010内作为如所属领域的技术人员已知的硬件与软件的组合。
[0117]
要加载到处理器1010或编码器/解码器1030上以执行本文档中描述的各个方面的程序代码可以存储在存储设备1040中，并且随后加载到存储器1020上以供处理器1010执行。根据各种实施例，处理器1010、存储器1020、存储设备1040和编码器/解码器模块1030中的一个或多个可以在执行本文中描述的过程期间存储各种项中的一个或多个。这些存储的项可以包括但不限于输入视频、解码视频或解码视频的部分、比特流、矩阵、变量以及来自等式、公式、运算和运算逻辑的处理的中间或最终结果。
[0118]
在一些实施例中，处理器1010和/或编码器/解码器模块1030内的存储器用于存储指令，并且提供用于在编码或解码期间需要的处理的工作存储器。然而，在其它实施例中，处理设备外部的存储器(例如，处理设备可为处理器1010或编码器/解码器模块1030)用于这些功能中的一者或多者。外部存储器可以是存储器1020和/或存储设备1040，例如，动态易失性存储器和/或非易失性闪存。在几个实施例中，外部非易失性闪存用于存储例如电视的操作系统。在至少一个实施例中，诸如ram的快速外部动态易失性存储器被用作视频译码和解码操作的工作存储器，诸如用于mpeg
‑
2(mpeg是指运动图片专家组，mpeg
‑
2也被称为iso/iec 13818，并且13818
‑
1也被称为h.222，并且13818
‑
2也被称为h.262)、hevc(hevc是指高效视频译码，也被称为h.265和mpeg
‑
h部分2)、或vvc(通用视频译码，由jvet(联合视频团队专家)开发的新标准)的工作存储器。
[0119]
如方框1130中所示，可以通过各种输入设备来提供对系统1000的元件的输入。这样的输入设备包括但不限于：(i)接收例如由广播公司通过空中传输的射频(rf)信号的rf部分，(ii)组件(comp)输入端子(或一组comp输入端子)，(iii)通用串行总线(usb)输入端子，和/或(iv)高清晰度多媒体接口(hdmi)输入端子。图18中未示出的其它示例包括合成视频。
[0120]
在各种实施例中，方框1130的输入设备具有本领域已知的相关联的相应输入处理元件。例如，rf部分可以与适合于以下功能的元件相关联：(i)选择期望频率(也称为选择信号，或将信号频带限制到频带)，(ii)下变频选择的信号，(iii)再次频带限制到较窄频带，以选择(例如)在某些实施例中可以称为信道的信号频带，(iv)解调下变频和频带限制的信号，(v)执行纠错，和(vi)解复用以选择期望的数据分组流。各种实施例的rf部分包括一个或多个元件以执行这些功能，例如，频率选择器、信号选择器、限带器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。rf部分可以包括执行各种这些功能的调谐器，这些功能包括例如将接收信号下变频到较低频率(例如，中频或近基带频率)或基带。在一个机顶盒实施例中，rf部分及其相关的输入处理元件接收通过有线(例如，电缆)介质发送的rf信号，并通过滤波、下变频和再次滤波到期望的频带来执行频率选择。各种实施例重新安排上述(和其它)元件的顺序，移除这些元件中的一些，和/或添加执行类似或不同功能的其它元件。添加元件可以包括在现有元件之间插入元件，例如插入放大器和模数转换器。在各种实施例中，rf部分包括天线。
[0121]
另外，usb和/或hdmi终端可以包括用于通过usb和/或hdmi连接将系统1000连接到其它电子设备的相应接口处理器。应当理解，输入处理的各个方面(例如reed
‑
solomon纠错)可以根据需要在例如单独的输入处理ic或处理器1010内实现。类似地，usb或hdmi接口
处理的各方面可以根据需要在单独的接口ic内或在处理器1010内实现。解调、纠错和解复用的流被提供给各种处理元件(包括例如处理器1010)和编码器/解码器1030(其与存储器和存储元件结合操作)以根据需要处理数据流以便在输出设备上呈现。
[0122]
系统1000的各种元件可以设置在集成壳体内。在集成壳体内，各种元件可以使用合适的连接布置(例如本领域已知的内部总线(包括ic间(i2c)总线)、布线和印刷电路板)互连并在其间传输数据。
[0123]
系统1000包括通信接口1050，其使得能够经由通信信道1060与其他设备通信。通信接口1050可以包括但不限于被配置为通过通信信道1060发送和接收数据的收发器。通信接口1050可以包括但不限于调制解调器或网卡，并且通信信道1060可以例如在有线和/或无线介质内实现。
[0124]
在各种实施例中，使用无线网络(例如wi
‑
fi网络，例如ieee 802.11(ieee是指电气和电子工程师协会))，将数据流式传输或以其他方式提供给系统1000。这些实施例的wi
‑
fi信号通过适用于wi
‑
fi通信的通信信道1060和通信接口1050来接收。这些实施例的通信信道1060通常连接到接入点或路由器，所述接入点或路由器提供对包括因特网的外部网络的接入以允许流式应用和其它过顶通信。其它实施例使用通过输入方框1130的hdmi连接传递数据的机顶盒向系统1000提供流式数据。还有一些实施例使用输入方框1130的rf连接向系统1000提供流式数据。如上所述，各种实施例以非流式方式提供数据。另外，各种实施例使用除wi
‑
fi之外的无线网络，例如蜂窝网络或蓝牙网络。
[0125]
系统1000可以向各种输出设备提供输出信号，所述输出设备包括显示器1100、扬声器1110和其他外围设备1120。各种实施例的显示器1100包含例如触摸屏显示器、有机发光二极管(oled)显示器、弯曲显示器和/或可折叠显示器中的一者或多者。显示器1100可以用于电视、平板电脑、膝上型计算机、蜂窝电话(移动电话)或其他设备。显示器1100还可与其它组件集成(例如，如在智能电话中)，或单独(例如，用于膝上型计算机的外部监视器)。在各实施例的各示例中，其它外围设备1120包括独立数字视频盘(或数字多功能盘)(对于这两项可简称为dvr)、盘播放器、立体声系统和/或照明系统中的一个或多个。各种实施例使用一个或多个外围设备1120，其基于系统1000的输出提供功能。例如，盘播放器执行播放系统1000的输出的功能。
[0126]
在各种实施例中，使用诸如av.链路、消费电子控制(cec)、或在有或没有用户干预的情况下实现设备到设备控制的其他通信协议的信令在系统1000和显示器1100、扬声器1110或其它外围设备1120之间传送控制信号。。输出设备可以经由通过相应接口1070、1080和1090的专用连接通信地耦合到系统1000。或者，输出设备可以使用通信信道1060经由通信接口1050连接到系统1000。显示器1100和扬声器1110可以与系统1000的其它组件一起集成在电子设备(例如电视机)中的单个单元中。在各种实施例中，显示接口1070包括显示驱动器，例如定时控制器((t控制)芯片。
[0127]
例如，如果输入1130的rf部分是单独机顶盒的一部分，则显示器1100和扬声器1110可以备选地与其它组件中的一个或多个分离。在显示器1100和扬声器1110是外部组件的各种实施例中，输出信号可以经由专用输出连接来提供，所述专用输出连接例如包括hdmi端口、usb端口或comp输出。
[0128]
这些实施例可以由处理器1010或硬件和软件的组合实现的计算机软件来实现。作
为非限制性示例，实施例可以由一个或多个集成电路实现。存储器1020可以是适合于技术环境的任何类型，并且可以使用任何适当的数据存储技术来实现，作为非限制性示例，诸如光学存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器。处理器1010可以是适合于技术环境的任何类型，并且可以包含作为非限制性示例的微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一个或多个。
[0129]
各种实现方式涉及解码。如本技术中所使用的，“解码”可以包括例如对接收到的编码序列执行的全部或部分过程，以产生适于显示的最终输出。在各种实施例中，此类过程包括通常由解码器执行的过程中的一个或多个，例如熵解码、逆量化、逆变换和差分解码。在各种实施例中，这样的过程还或替代地包括由本技术中描述的各种实现的解码器执行的过程。
[0130]
作为进一步的示例，在一个实施例中，“解码”仅指熵解码，在另一实施例中，“解码”仅指差分解码，并且在另一实施例中，“解码”指熵解码和差分解码的组合。短语“解码过程”是否旨在具体地指代操作的子集或一般地指代更广泛的解码过程基于具体描述的上下文将是清楚的，并且相信是本领域技术人员所充分理解的。
[0131]
各种实现涉及编码。以与以上关于“解码”的讨论类似的方式，如在本技术中使用的“编码”可以包括例如对输入视频序列执行的过程的全部或部分以产生编码比特流。在各种实施例中，此类过程包括通常由编码器执行的一个或多个过程，例如，分区、差分编码、变换、量化和熵编码。在各种实施例中，这样的过程还或替代地包括由本技术中描述的各种实现的编码器执行的过程。
[0132]
作为进一步的示例，在一个实施例中，“编码”仅指熵编码，在另一实施例中，“编码”仅指差分编码，而在另一实施例中，“编码”指差分编码和熵编码的组合。短语“编码过程”是否旨在具体地指代操作的子集或一般地指代更广泛的编码过程将基于具体描述的上下文而变得清楚，并且相信是本领域技术人员所充分理解的。
[0133]
注意，这里使用的语法元素是描述性术语。因此，它们不排除使用其它语法元素名称。
[0134]
当附图被呈现为流程图时，应当理解，它还提供了对应装置的框图。类似地，当附图被呈现为框图时，应当理解，它还提供了对应的方法/过程的流程图。
[0135]
各种实施例可以涉及参数模型或速率失真优化。特别地，在编码过程期间，通常考虑速率和失真之间的平衡或折衷，通常给出计算复杂度的约束。它可以通过速率失真优化(rdo)度量，或者通过最小均方(lms)、绝对误差均值(mae)或其它这样的测量来测量。速率失真优化通常被公式化为最小化速率失真函数，该函数是速率和失真的加权和。存在不同的方法来解决率失真优化问题。例如，这些方法可以基于对所有编码选项的广泛测试(包括所有考虑的模式或编码参数值)，在译码和解码之后对它们的译码成本和重构信号的相关失真进行完整评估。还可以使用更快的方法来节省编码复杂度，特别是基于预测或预测残差信号而不是重构信号来计算近似失真。还可以使用这两种方法的混合，例如通过仅对一些可能的编码选项使用近似失真，而对其他编码选项使用完全失真。其它方法仅评估可能的编码选项的子集。更一般地，许多方法采用各种技术中的任意者来执行优化，但是优化不一定是对编码成本和相关失真两者的完整评估。
[0136]
本文描述的实现方式和方面可以在例如方法或过程、装置、软件程序、数据流或信
号中实现。即使仅在单一形式的实现的上下文中讨论(例如，仅作为方法讨论)，所讨论的特征的实现也可以以其他形式(例如，装置或程序)来实现。例如，可以以适当的硬件、软件和固件来实现装置。所述方法可以在例如处理器中实现，所述处理器通常指处理设备(包括例如计算机、微处理器、集成电路或可编程逻辑设备)。处理器还包括通信设备，例如计算机、蜂窝电话、便携式/个人数字助理(“pda”)和便于终端用户之间的信息通信的其他设备。
[0137]
对“一个实施例”或“一个实施例”或“一个实现”或“实现”以及其它变化形式的提及意味着结合实施例描述的特定特征、结构、特性等包含于至少一个实施例中。因此，在本技术中的各个地方出现的短语“在一个实施例中”或“在实施例中”或“在一个实现中”或“在实现中”以及任何其他变型的出现不一定都指同一实施例。
[0138]
另外，本技术可以涉及“确定”各种信息。确定信息可以包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一个或多个。
[0139]
此外，本技术可以涉及“访问”各种信息。访问信息可以包括例如接收信息、检索信息(例如，从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一个或多个。
[0140]
另外，本技术可以指“接收”各种信息。如同“访问”一样，接收旨在是广义的术语。接收信息可以包括例如访问信息或(例如从存储器)检索信息中的一个或多个。此外，在诸如存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，通常以一种方式或另一种方式涉及“接收”。
[0141]
应当理解，例如在“a/b”、“a和/或b”以及“a和b中的至少一个”的情况下，使用以下“/”、“和/或”以及“中的至少一个”中的任何一个旨在涵盖仅对第一列出的选项(a)的选择、或仅对第二列出的选项(b)的选择、或对两个选项(a和b)的选择。作为进一步的例子，在“a、b和/或c”和“a、b和c中的至少一个”的情况下，这样的措词旨在包括仅选择第一个列出的选项(a)，或者仅选择第二个列出的选项(b)，或者仅选择第三个列出的选项(c)，或者仅选择第一个和第二个列出的选项(a和b)，或者仅选择第一个和第三个列出的选项(a和c)，或者仅选择第二个和第三个列出的选项(b和c)，或者选择所有三个选项(a和b和c)。如本领域和相关领域的普通技术人员所清楚的，这可以扩展到所列的多个项。
[0142]
此外，如本文所使用的，词语“用信号通知”尤其是指向对应的解码器指示某物。例如，在某些实施例中，编码器用信号通知多个变换、译码模式或标记中的特定一个。这样，在一个实施例中，在编码器侧和解码器侧都使用相同的变换、参数或模式。因此，例如，编码器可以向解码器发送(显式信令)特定参数，使得解码器可以使用相同的特定参数。相反，如果解码器已经具有特定参数以及其它参数，则可以使用信令而不进行发送(隐式信令)，以简单地允许解码器知道并选择特定参数。通过避免任何实际功能的传输，在各种实施例中实现了比特节省。应当理解，可以以各种方式来实现信令。例如，在各种实施例中，一个或多个语法元素、标志等被用于将信息用信号通知给对应的解码器。虽然前述内容涉及词语“用信号通知”的动词形式，但是词语“用信号通知”在本文中也可以用作名词。
[0143]
如对于本领域普通技术人员将显而易见的，实现可以产生被格式化以携带例如可以被存储或发送的信息的各种信号。该信息可以包括例如用于执行方法的指令，或者由所描述的实现之一产生的数据。例如，信号可以被格式化以携带所描述的实施例的比特流。这种信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可以
包括例如对数据流进行编码并且利用编码的数据流对载波进行调制。信号携带的信息可以是例如模拟或数字信息。如已知的，信号可以通过各种不同的有线或无线链路来传输。该信号可以存储在处理器可读介质上。
[0144]
我们描述了跨各种权利要求类别和类型的多个实施例。这些实施例的特征可以单独提供或以任何组合提供。此外，实施例可以包括跨越各种权利要求类别和类型的单独或任意组合的以下特征、设备或方面中的一个或多个：
[0145]
·
一种用于利用帧内译码子分区来执行帧内编码和解码的过程或设备。
[0146]
·
一种用于使用多个参考线通过帧内译码子分区执行帧内编码和解码的过程或设备。
[0147]
·
一种用于利用帧内译码子分区和缺失样本替换来执行帧内编码和解码的过程或设备。
[0148]
·
一种用于利用帧内译码子分区和对父视频块上方的参考像素的映射来执行帧内编码和解码的过程或设备。
[0149]
·
一种用于利用帧内译码子分区和不相等子分区大小执行帧内编码和解码的过程或设备。
[0150]
·
一种包括所描述的语法元素中的一个或多个或其变型的比特流或信号。
[0151]
·
一种包括根据所描述的任何实施例生成的语法传达信息的比特流或信号。
[0152]
·
根据所述的任何实施例创建和/或发送和/或接收和/或解码。
[0153]
·
一种根据所描述的任何实施例的方法、过程、装置、存储指令的介质、存储数据的介质或信号。
[0154]
·
在所述信令中插入使得所述解码器能够以对应于编码器所使用的方式来确定译码模式的语法元素。
[0155]
·
创建和/或发送和/或接收和/或解码包括一个或多个所描述的语法元素或其变型的比特流或信号。
[0156]
·
一种tv、机顶盒、蜂窝电话、平板电脑或其他电子设备，其执行根据所描述的任何实施例中的变换方法(一个或多个)。
[0157]
·
一种tv、机顶盒、蜂窝电话、平板电脑或其他电子设备，其执行根据所描述的任何实施例的变换方法(一个或多个)确定，并且显示(例如，使用监视器、屏幕或其他类型的显示器)所产生的图像。
[0158]
·
一种tv、机顶盒、蜂窝电话、平板电脑或其他电子设备，其选择、频带限制或调谐(例如，使用调谐器)信道以接收包括编码图像的信号，并且执行根据所描述的任何实施例的变换方法(一个或多个)。
[0159]
·
一种tv、机顶盒、蜂窝电话、平板电脑或其他电子设备，其通过空中接收(例如，使用天线)包括编码图像的信号，并且执行变换方法(一个或多个)。