本技术大体上描述了在视频译码中支持双向光流(bi-direction optical flow,bdof)的技术。更具体地,本技术中,可以将所述bdof用于参考图像重采样中,但仅可以在当前图像的空间分辨率与参考图像的空间分辨率不同的情况下对块或样本禁用所述bdof。
背景技术:
1、即使某一段视频相对较短,也需要大量的视频数据来描述。当该数据要在带宽容量受限的通信网络中进行流式传输或以其它方式传输时,可能会造成困难。因此,视频数据通常需要先进行压缩,然后通过现代电信网络进行传输。由于内存资源可能有限,在存储设备中存储视频时,该视频的大小也可能产生问题。视频压缩设备通常在源侧使用软件和/或硬件对该视频数据进行译码,然后进行传输或存储,从而减少用于表示数字视频图像所需的数据量。然后,对视频数据进行解码的视频解压缩设备在目的地侧接收压缩后的数据。在网络资源有限以及对更高视频质量的需求不断增长的情况下,需要改进压缩和解压缩技术,这些改进的技术几乎不影响图像质量,同时能够提高压缩比。
技术实现思路
1、第一方面涉及一种由视频解码器实现的对经编码视频码流进行解码的方法。该方法包括:视频解码器确定正被解码的当前图像的分辨率是否与当前图像关联的参考图像列表所标识的参考图像的分辨率相同;当确定当前图像的分辨率与参考图像中每一个参考图像的分辨率均相同时,视频解码器对当前图像的当前块启用双向光流(bi-directionoptical flow,bdof);当确定当前图像的分辨率与参考图像中任一个参考图像的分辨率不同时,视频解码器对当前图像的当前块禁用所述bdof;对当前块启用所述bdof时,视频解码器使用所述bdof对当前块对应的运动矢量进行修正。
2、在该方法提供的技术中,在当前图像的空间分辨率与参考图像的空间分辨率不同时,可以选择性地禁用bdof,而无需在启用参考图像重采样(reference pictureresampling,rpr)时对整个cvs禁用bdof。由于这种方式中具有选择性地禁用bdof的能力,从而可以提高译码效率。因此,可以减少在编码器和解码器上所使用的处理器、存储器和/或网络资源。因此,视频译码中的编码器/解码器(又称为“编解码器codec”)相对于现有的编解码器有所改进。实际上,改进的视频译码过程在发送、接收和/或观看视频时提供了更好的用户体验。
3、可选地,根据上述任一方面,在该方面的另一种实现方式中,启用所述bdof包括将bdof标志设置为第一值,禁用所述bdof包括将bdof标志设置为第二值。
4、可选地,根据上述任一方面,在该方面的另一种实现方式中,所述方法还包括:在双向帧间预测模式下根据参考图像列表为当前图像生成参考图像。
5、可选地,根据上述任一方面,在该方面的另一种实现方式中,所述方法还包括:根据多个图像中每个图像的分辨率是否与该图像关联的参考图像的分辨率相同或不同,对该多个图像中的块选择性地启用或禁用所述bdof。
6、可选地,根据上述任一方面,在该方面的另一种实现方式中,所述方法还包括:当所述bdof被禁用时,对包括当前图像的整个经编码视频序列(coded video sequence,cvs)启用参考图像重采样(reference picture resampling,rpr)。
7、可选地,根据上述任一方面,在该方面的另一种实现方式中,当前图像的分辨率设置在所述经编码视频码流的参数集中,当前块是从当前图像的条带中获得的。
8、可选地,根据上述任一方面,在该方面的另一种实现方式中,所述方法还包括:在电子设备的显示屏上显示根据当前块生成的图像。
9、第二方面涉及一种由视频编码器实现的编码视频码流的方法。该方法包括:视频编码器确定正被编码的当前图像的分辨率是否与当前图像关联的参考图像列表所标识的参考图像的分辨率相同;当确定当前图像的分辨率与参考图像中每一个参考图像的分辨率均相同时,视频编码器对当前图像的当前块启用双向光流(bi-direction optical flow,bdof);当确定当前图像的分辨率与参考图像中任一个参考图像的分辨率不同时,视频编码器对当前图像的当前块禁用所述bdof;对当前块启用所述bdof时,视频编码器使用所述bdof对当前块对应的运动矢量进行修正。
10、在该方法提供的技术中,在当前图像的空间分辨率与参考图像的空间分辨率不同时,可以选择性地禁用bdof,而无需在启用参考图像重采样(reference pictureresampling,rpr)时对整个cvs禁用bdof。由于这种方式中具有选择性地禁用bdof的能力,从而可以提高译码效率。因此,可以减少在编码器和解码器上所使用的处理器、存储器和/或网络资源。因此,视频译码中的编码器/解码器(又称为“编解码器codec”)相对于现有的编解码器有所改进。实际上,改进的视频译码过程在发送、接收和/或观看视频时提供了更好的用户体验。
11、可选地,根据上述任一方面,在该方面的另一种实现方式中,所述方法还包括:视频编码器根据参考图像确定当前图像的运动矢量;视频编码器根据运动矢量对当前图像进行编码;视频编码器通过假设参考解码器对当前图像进行解码。
12、可选地,根据上述任一方面,在该方面的另一种实现方式中,启用所述bdof包括将bdof标志设置为第一值,禁用所述bdof包括将bdof标志设置为第二值。
13、可选地,根据上述任一方面,在该方面的另一种实现方式中,所述方法还包括:在双向帧间预测模式下根据参考图像列表为当前图像生成参考图像。
14、可选地,根据上述任一方面,在该方面的另一种实现方式中,所述方法还包括:根据多个图像中每个图像的分辨率是否与该图像关联的参考图像的分辨率相同或不同,对该多个图像中的块选择性地启用或禁用所述bdof。
15、可选地,根据上述任一方面,在该方面的另一种实现方式中,所述方法还包括:即使是在所述bdof被禁用的情况下,对包括当前图像的整个经编码视频序列(coded videosequence,cvs)启用参考图像重采样(reference picture resampling,rpr)。
16、可选地,根据上述任一方面,在该方面的另一种实现方式中,所述方法还包括:向视频解码器发送包括当前块的视频码流。
17、第三方面涉及一种解码设备。该解码设备包括:接收器,用于接收经编码视频码流;存储器,耦合到接收器,其中,存储器存储指令;处理器,耦合到存储器,其中,处理器用于执行所述指令,使得该解码设备执行以下操作:确定正被解码的当前图像的分辨率是否与当前图像关联的参考图像列表所标识的参考图像的分辨率相同;当确定当前图像的分辨率与参考图像中每一个参考图像的分辨率均相同时,对当前图像的当前块启用双向光流(bi-direction optical flow,bdof);当确定当前图像的分辨率与参考图像中任一个参考图像的分辨率不同时,对当前图像的当前块禁用所述bdof;对当前块启用所述bdof时,使用所述bdof对当前块对应的运动矢量进行修正。
18、在该解码设备提供的技术中,在当前图像的空间分辨率与参考图像的空间分辨率不同时,可以选择性地禁用bdof,而无需在启用参考图像重采样(reference pictureresampling,rpr)时对整个cvs禁用bdof。由于这种方式中具有选择性地禁用bdof的能力,从而可以提高译码效率。因此,可以减少在编码器和解码器上所使用的处理器、存储器和/或网络资源。因此,视频译码中的编码器/解码器(又称为“编解码器codec”)相对于现有的编解码器有所改进。实际上,改进的视频译码过程在发送、接收和/或观看视频时提供了更好的用户体验。
19、可选地,根据上述任一方面,在该方面的另一种实现方式中,当所述bdof被禁用时,对包括当前图像的整个经编码视频序列(coded video sequence,cvs)启用参考图像重采样(reference picture resampling,rpr)。
20、可选地,根据上述任一方面,在该方面的另一种实现方式中,该解码设备还包括显示器,用于显示根据当前块生成的图像。
21、第四方面涉及一种编码设备。该编码设备包括:存储器,存储器存储指令;处理器,耦合到存储器,其中,处理器用于执行所述指令,使得该编码设备执行以下操作:确定正被编码的当前图像的分辨率是否与当前图像关联的参考图像列表所标识的参考图像的分辨率相同;当确定当前图像的分辨率与参考图像中每一个参考图像的分辨率均相同时,对当前图像的当前块启用双向光流(bi-direction optical flow,bdof);当确定当前图像的分辨率与参考图像中任一个参考图像的分辨率不同时,对当前图像的当前块禁用所述bdof;对当前块启用所述bdof时,使用所述bdof对当前块对应的运动矢量进行修正;发送器,耦合到处理器,其中,发送器用于向视频解码器发送包括当前块的视频码流。
22、在该编码设备提供的技术中,在当前图像的空间分辨率与参考图像的空间分辨率不同时,可以选择性地禁用bdof,而无需在启用参考图像重采样(reference pictureresampling,rpr)时对整个cvs禁用bdof。由于这种方式中具有选择性地禁用bdof的能力,从而可以提高译码效率。因此,可以减少在编码器和解码器上所使用的处理器、存储器和/或网络资源。因此,视频译码中的编码器/解码器(又称为“编解码器codec”)相对于现有的编解码器有所改进。实际上,改进的视频译码过程在发送、接收和/或观看视频时提供了更好的用户体验。
23、可选地,根据上述任一方面,在该方面的另一种实现方式中,即使是在所述bdof被禁用的情况下,对包括当前图像的整个经编码视频序列(coded video sequence,cvs)启用参考图像重采样(reference picture resampling,rpr)。
24、可选地,根据上述任一方面,在该方面的另一种实现方式中,在发送器向所述视频解码器发送视频码流之前,存储器存储所述码流。
25、第五方面涉及一种译码装置。该译码装置包括:接收器,用于接收图像进行编码或接收码流进行解码;发送器,耦合到接收器,其中,发送器用于将码流发送到解码器或将经解码图像发送到显示器;存储器,耦合到接收器或发送器中的至少一个,其中,存储器用于存储指令;处理器,耦合到存储器,其中,处理器用于执行存储在存储器中的指令,以执行本文中所公开的方法。
26、在该译码装置提供的技术中,在当前图像的空间分辨率与参考图像的空间分辨率不同时,可以选择性地禁用bdof,而无需在启用参考图像重采样(reference pictureresampling,rpr)时对整个cvs禁用bdof。由于这种方式中具有选择性地禁用bdof的能力,从而可以提高译码效率。因此,可以减少在编码器和解码器上所使用的处理器、存储器和/或网络资源。因此,视频译码中的编码器/解码器(又称为“编解码器codec”)相对于现有的编解码器有所改进。实际上,改进的视频译码过程在发送、接收和/或观看视频时提供了更好的用户体验。
27、第六方面涉及一种系统。该系统包括:编码器;解码器,与编码器进行通信;其中,编码器或解码器包括本文中公开的解码设备、编码设备或译码装置。
28、在该系统提供的技术中,在当前图像的空间分辨率与参考图像的空间分辨率不同时,可以选择性地禁用bdof,而无需在启用参考图像重采样(reference pictureresampling,rpr)时对整个cvs禁用bdof。由于这种方式中具有选择性地禁用bdof的能力,从而可以提高译码效率。因此,可以减少在编码器和解码器上所使用的处理器、存储器和/或网络资源。因此,视频译码中的编码器/解码器(又称为“编解码器codec”)相对于现有的编解码器有所改进。实际上,改进的视频译码过程在发送、接收和/或观看视频时提供了更好的用户体验。
1.一种视频码流的解码方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,启用所述bdof包括将bdof标志设置为第一值,禁用所述bdof包括将所述bdof标志设置为第二值。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:在双向帧间预测模式下根据所述参考图像列表为所述当前图像生成所述参考图像。
4.根据权利要求1至3中任一项所述的方法,其特征在于,所述方法还包括:根据多个图像中每个图像的分辨率是否与所述图像关联的参考图像的分辨率相同或不同,对所述多个图像中的块选择性地启用或禁用所述bdof。
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述方法还包括:当所述bdof被禁用时,对包括所述当前图像的整个经编码视频序列(coded video sequence,cvs)启用参考图像重采样(reference picture resampling,rpr)。
6.根据权利要求1至5中任一项所述的方法,其特征在于,所述当前图像的分辨率设置在所述经编码视频码流的参数集中,所述当前块是从所述当前图像的条带中获得的。
7.根据权利要求1至6中任一项所述的方法,其特征在于,所述方法还包括:在电子设备的显示屏上显示根据所述当前块生成的图像。
8.一种编码视频码流的方法,其特征在于,所述方法包括:
9.根据权利要求8所述的方法,其特征在于,所述根据所述参考图像列表为所述当前图像生成所述参考图像,并根据所述参考图像的参考块对所述当前块进行帧间预测包括:
10.根据权利要求8或9所述的方法,其特征在于,启用所述bdof包括将bdof标志设置为第一值,禁用所述bdof包括将所述bdof标志设置为第二值。
11.根据权利要求8至10中任一项所述的方法,其特征在于,所述方法还包括:在双向帧间预测模式下根据参考图像列表为所述当前图像生成所述参考图像。
12.根据权利要求8至11中任一项所述的方法,其特征在于,所述方法还包括:根据多个图像中每个图像的分辨率是否与所述图像关联的参考图像的分辨率相同或不同,对所述多个图像中的块选择性地启用或禁用所述bdof。
13.根据权利要求8至12中任一项所述的方法,其特征在于,所述方法还包括:即使是在所述bdof被禁用的情况下,对包括所述当前图像的整个经编码视频序列(coded videosequence,cvs)启用参考图像重采样(reference picture resampling,rpr)。
14.根据权利要求8至13中任一项所述的方法,其特征在于,所述方法还包括:向视频解码器发送包括所述当前块的视频码流。
15.一种解码设备,其特征在于,包括:
16.根据权利要求15所述的解码设备,其特征在于,当所述bdof被禁用时,对包括所述当前图像的整个经编码视频序列(coded video sequence,cvs)启用参考图像重采样(reference picture resampling,rpr)。
17.根据权利要求15或16所述的解码设备,其特征在于,所述解码设备还包括显示器,用于显示根据所述当前块生成的图像。
18.一种编码设备,其特征在于,包括:
19.根据权利要求18所述的编码设备,其特征在于,即使是在bdof被禁用的情况下,对包括所述当前图像的整个经编码视频序列(coded video sequence,cvs)启用参考图像重采样(reference picture resampling,rpr)。
20.根据权利要求18或19所述的编码设备,其特征在于,在所述发送器向所述视频解码器发送所述视频码流之前,所述存储器存储所述码流。
21.一种译码装置,其特征在于,包括:
22.根据权利要求21所述的译码装置,其特征在于,所述译码装置还包括显示器,用于显示图像。
23.一种系统,其特征在于,包括:
24.一种计算机可读存储介质,其特征在于,包括:
25.根据权利要求24所述的计算机可读存储介质,其特征在于,当所述bdof标志被禁用时,对包括所述当前图像的整个经编码视频序列(coded video sequence,cvs)的参考图像重采样(reference picture resampling,rpr)被启用。
26.根据权利要求24或25所述的计算机可读存储介质,其特征在于,所述当前图像的分辨率设置在所述经编码视频码流的参数集中,所述当前块是从所述当前图像的条带中获得的。
27.一种存储视频码流的方法,其特征在于,包括:
28.根据权利要求27所述的方法,其特征在于,当所述bdof标志被禁用时,对包括所述当前图像的整个经编码视频序列(coded video sequence,cvs)的参考图像重采样(reference picture resampling,rpr)被启用。
29.根据权利要求27或28所述的方法,其特征在于,所述当前图像的分辨率设置在所述经编码视频码流的参数集中,所述当前块是从所述当前图像的条带中获得的。
30.一种存储视频码流的设备,其特征在于,包括:
31.根据权利要求30所述的设备,其特征在于,当所述bdof标志被禁用时,对包括所述当前图像的整个经编码视频序列(coded video sequence,cvs)的参考图像重采样(reference picture resampling,rpr)被启用。
32.根据权利要求30或31所述的设备,其特征在于,所述当前图像的分辨率设置在所述经编码视频码流的参数集中,所述当前块是从所述当前图像的条带中获得的。
33.一种传输码流的方法,其特征在于,包括:
34.根据权利要求33所述的方法,其特征在于,当所述bdof标志被禁用时,对包括所述当前图像的整个经编码视频序列(coded video sequence,cvs)的参考图像重采样(reference picture resampling,rpr)被启用。
35.根据权利要求33或34所述的方法,其特征在于,所述当前图像的分辨率设置在所述经编码视频码流的参数集中,所述当前块是从所述当前图像的条带中获得的。
36.一种传输码流的设备,其特征在于,包括:
37.根据权利要求36所述的设备,其特征在于,当所述bdof标志被禁用时,对包括所述当前图像的整个经编码视频序列(coded video sequence,cvs)的参考图像重采样(reference picture resampling,rpr)被启用。
38.根据权利要求36或37所述的设备,其特征在于,所述当前图像的分辨率设置在所述经编码视频码流的参数集中,所述当前块是从所述当前图像的条带中获得的。
39.一种经编码视频码流,其特征在于,所述经编码视频码流包括:
40.根据权利要求39所述的视频码流,其特征在于,当所述bdof标志被禁用时,对包括所述当前图像的整个经编码视频序列(coded video sequence,cvs)的参考图像重采样(reference picture resampling,rpr)被启用。
41.根据权利要求39或40所述的视频码流,其特征在于,所述当前图像的分辨率设置在所述经编码视频码流的参数集中,所述当前块是从所述当前图像的条带中获得的。