本公开涉及视频编解码，尤其涉及一种滤波网络的训练方法、视频编码方法、滤波网络的训练装置、视频编码装置、电子设备、计算机可读存储介质与计算机程序产品。
背景技术：
1、编码环路内滤波模块是编解码器的重要模块，编码环路内滤波是对当前帧经过预测、变换、量化、熵编码后的编码重建帧进一步增强，提升当前帧编码重建质量。同时由于编码中使用帧间预测和参考帧机制去除相邻帧的时域冗余，当前帧经过环路滤波后的重建帧也可以用于后续帧的预测。如传统的环路滤波方法，在优化滤波器参数时通过当前帧重建帧和原始帧计算出参数。
2、传统编码器，如高效视频编码(high efficiency video coding，hevc)也称h.265，以及多功能视频编码(vvc，versatile video coding)，也称h.266，采用多种滤波方式对重建帧进行环路内滤波，以提高重建质量，包括hevc中的去方块滤波(de-blockingfilter，dbf)、样点自适应补偿(sample adaptive offset，sao)以及vvc中的自适应环路滤波(adaptive loop filter，alf)等。
3、由于传统滤波器表达能力有限，为了提升编码模块的能力，近些年出现了一些基于深度学习的环路滤波算法来进一步提升编码能力的方法，这些方法在训练时通常也是将当前重建帧作为网络输入，当前原始帧作为标签进行优化。
技术实现思路
1、本公开提供一种滤波网络的训练方法、视频编码方法、滤波网络的训练装置、视频编码装置、电子设备、计算机可读存储介质与计算机程序产品，以至少解决相关技术中环路内滤波方案没有考虑当前帧与相邻帧之间的时域参考关系，导致无法去除编码参考过程中的时域冗余的问题。本公开的技术方案如下：
2、根据本公开实施例的第一方面，提供一种滤波网络的训练方法，包括：获取当前重建样本帧，采用初始滤波网络对所述当前重建样本帧进行滤波处理，得到当前滤波重建样本帧以及当前滤波失真；确定当前重建样本帧后续相邻的多个待编码原始样本帧，基于所述当前滤波重建样本帧对所述多个待编码原始样本帧分别进行编码处理，得到各自对应的待编码重建样本帧与编码码率；根据多个所述待编码重建样本帧与多个所述编码码率，分别确定多帧联合编码码率与多帧联合编码失真；根据当前滤波失真、所述多帧联合编码码率与所述多帧联合编码失真，构建损失函数；基于所述损失函数对所述初始滤波网络进行训练，直至满足损失条件，将满足所述损失条件时对应的初始滤波网络作为目标滤波网络。
3、在本公开的一种示例性实施例中，所述采用初始滤波网络对所述当前重建样本帧进行滤波处理，得到当前滤波重建样本帧以及当前滤波失真，包括：获取当前原始样本帧以及与所述当前重建样本帧对应的多个已编码重建样本帧；基于所述多个已编码重建样本帧，采用所述初始滤波网络对所述当前重建样本帧进行滤波处理，得到所述当前滤波重建样本帧；获取失真度量函数，根据所述失真度量函数确定所述当前原始样本帧与所述当前滤波重建样本帧之间差值，作为所述当前滤波失真。
4、在本公开的一种示例性实施例中，所述根据多个所述待编码重建样本帧与多个所述编码码率，分别确定多帧联合编码码率与多帧联合编码失真，包括：根据多个所述待编码重建样本帧各自对应的编码码率，确定所述多帧联合编码码率；根据多个所述待编码原始样本帧以及各自对应的所述待编码重建样本帧，确定所述多帧联合编码失真。
5、在本公开的一种示例性实施例中，所述根据多个所述待编码重建样本帧各自对应的编码码率，确定所述多帧联合编码码率，包括：分别确定各所述编码码率对应的码率权重；根据多个所述编码码率以及各编码码率对应的码率权重，确定所述多帧联合编码码率。
6、在本公开的一种示例性实施例中，所述根据多个所述待编码原始样本帧以及各自对应的所述待编码重建样本帧，确定所述多帧联合编码失真，包括：分别确定各所述待编码原始样本帧与各自对应的待编码重建样本帧之间的帧编码失真；确定各所述帧编码失真对应的帧失真权重；根据多个所述帧编码失真以及各所述帧编码失真对应的帧失真权重，确定所述多帧联合编码失真。
7、在本公开的一种示例性实施例中，所述根据当前滤波失真、所述多帧联合编码码率与所述多帧联合编码失真，构建损失函数，包括：获取码率超参参数，所述码率超参参数用于控制码率点；根据所述码率超参参数、所述多帧联合编码码率与所述多帧联合编码失真，确定多帧联合损失；确定当前原始样本帧与后续相邻的待编码原始样本帧之间的损失计算权重；根据所述损失计算权重、所述当前滤波失真与所述多帧联合损失，构建所述损失函数。
8、根据本公开实施例的第二方面，提供一种视频编码方法，包括：获取当前重建帧，所述当前重建帧通过对当前原始帧进行编码处理得到；获取目标滤波网络，所述目标滤波网络为采用上述任意一项所述的滤波网络的训练方法得到；采用目标滤波网络对所述当前重建帧进行滤波编码处理，得到当前滤波重建帧；基于所述当前滤波重建帧，对后续相邻的待编码原始帧进行编码处理，得到目标视频帧。
9、根据本公开实施例的第三方面，提供一种滤波网络的训练装置，包括：当前帧处理模块，用于获取当前重建样本帧，采用初始滤波网络对所述当前重建样本帧进行滤波处理，得到当前滤波重建样本帧以及当前滤波失真；相邻帧编码模块，用于确定当前重建样本帧后续相邻的多个待编码原始样本帧，基于所述当前滤波重建样本帧对所述多个待编码原始样本帧分别进行编码处理，得到各自对应的待编码重建样本帧与编码码率；联合参数确定模块，用于根据多个所述待编码重建样本帧与多个所述编码码率，分别确定多帧联合编码码率与多帧联合编码失真；损失函数构建模块，用于根据当前滤波失真、所述多帧联合编码码率与所述多帧联合编码失真，构建损失函数；网络训练模块，用于基于所述损失函数对所述初始滤波网络进行训练，直至满足损失条件，将满足所述损失条件时对应的初始滤波网络作为目标滤波网络。
10、在本公开的一种示例性实施例中，所述当前帧处理模块包括当前帧处理单元，用于：获取当前原始样本帧以及与所述当前重建样本帧对应的多个已编码重建样本帧；基于所述多个已编码重建样本帧，采用所述初始滤波网络对所述当前重建样本帧进行滤波处理，得到所述当前滤波重建样本帧；获取失真度量函数，根据所述失真度量函数确定所述当前原始样本帧与所述当前滤波重建样本帧之间差值，作为所述当前滤波失真。
11、在本公开的一种示例性实施例中，所述联合参数确定模块包括联合参数确定单元，用于：根据多个所述待编码重建样本帧各自对应的编码码率，确定所述多帧联合编码码率；根据多个所述待编码原始样本帧以及各自对应的所述待编码重建样本帧，确定所述多帧联合编码失真。
12、在本公开的一种示例性实施例中，所述联合参数确定单元包括联合码率确定子单元，用于：分别确定各所述编码码率对应的码率权重；根据多个所述编码码率以及各编码码率对应的码率权重，确定所述多帧联合编码码率。
13、在本公开的一种示例性实施例中，所述联合参数确定单元包括联合失真确定子单元，用于：分别确定各所述待编码原始样本帧与各自对应的待编码重建样本帧之间的帧编码失真；确定各所述帧编码失真对应的帧失真权重；根据多个所述帧编码失真以及各所述帧编码失真对应的帧失真权重，确定所述多帧联合编码失真。
14、在本公开的一种示例性实施例中，所述损失函数构建模块包括损失函数构建单元，用于：获取码率超参参数，所述码率超参参数用于控制码率点；根据所述码率超参参数、所述多帧联合编码码率与所述多帧联合编码失真，确定多帧联合损失；确定当前原始样本帧与后续相邻的待编码原始样本帧之间的损失计算权重；根据所述损失计算权重、所述当前滤波失真与所述多帧联合损失，构建所述损失函数。
15、根据本公开实施例的第四方面，提供一种视频编码装置，包括：当前帧获取模块，用于获取当前重建帧，所述当前重建帧通过对当前原始帧进行编码处理得到；滤波网络获取模块，用于获取目标滤波网络，所述目标滤波网络为采用上述任意一项所述的滤波网络的训练方法得到；滤波处理模块，用于采用目标滤波网络对所述当前重建帧进行滤波编码处理，得到当前滤波重建帧；视频帧编码模块，用于基于所述当前滤波重建帧，对后续相邻的待编码原始帧进行编码处理，得到目标视频帧。
16、根据本公开的第五方面，提供一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行指令，以实现上述任意一项所述的滤波网络的训练方法或视频编码方法。
17、根据本公开的第六方面，提供一种计算机可读存储介质，当计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任意一项所述的滤波网络的训练方法或视频编码方法。
18、根据本公开的第七方面，提供一种计算机程序产品，包括计算机程序/指令，其特征在于，计算机程序/指令被处理器执行时实现上述任意一项所述的滤波网络的训练方法或视频编码方法。
19、本公开的实施例提供的技术方案至少带来以下有益效果：在滤波网络的训练阶段考虑后续相邻视频帧滤波后结果的时域传播关系，得到多帧联合率失真代价，从而有效指导滤波网络考虑时域特性进行训练。
20、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
1.一种滤波网络的训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述采用初始滤波网络对所述当前重建样本帧进行滤波处理，得到当前滤波重建样本帧以及当前滤波失真，包括：
3.根据权利要求1所述的方法，其特征在于，所述根据多个所述待编码重建样本帧与多个所述编码码率，分别确定多帧联合编码码率与多帧联合编码失真，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据多个所述待编码重建样本帧各自对应的编码码率，确定所述多帧联合编码码率，包括：
5.根据权利要求3所述的方法，其特征在于，所述根据多个所述待编码原始样本帧以及各自对应的所述待编码重建样本帧，确定所述多帧联合编码失真，包括：
6.根据权利要求1所述的方法，其特征在于，所述根据当前滤波失真、所述多帧联合编码码率与所述多帧联合编码失真，构建损失函数，包括：
7.一种视频编码方法，其特征在于，包括：
8.一种滤波网络的训练装置，其特征在于，包括：
9.一种视频编码装置，其特征在于，包括：
10.一种电子设备，其特征在于，包括：
11.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至6中任一项所述的滤波网络的训练方法，或实现如权利要求7所述的视频编码方法。
12.一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现如权利要求1至6中任一项所述的滤波网络的训练方法，或实现如权利要求7所述的视频编码方法。
