本技术涉及视频压缩，尤其涉及混合上下文生成方法、装置、设备及计算机可读存储介质。
背景技术：
1、视频压缩是一项基础的计算机视觉任务，旨在降低视频数据的传输和存储成本。在常规的基于深度学习的视频压缩方法中，上下文生成的方法包括：基于光流的方法和基于可变形卷积的方法。
2、然而，基于光流的方法难以处理复杂场景；基于可变形卷积的方法在处理复杂运动方面比基于光流的方法的鲁棒性更好，但是也增加了运动编码的码率代价。
3、综上，目前基于深度学习的视频压缩方法在处理复杂场景时，视频压缩的性能低下。
4、上述内容仅用于辅助理解本技术的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
1、本技术的主要目的在于提供一种混合上下文生成方法、装置、设备及计算机可读存储介质，旨在提升处理复杂场景时视频压缩的性能。
2、为实现上述目的，本技术提供一种混合上下文生成方法，所述混合上下文生成方法包括：
3、基于输入图像和先前解码帧，得到重构光流；
4、对所述先前解码帧的特征进行多尺度特征提取，得到多尺度特征，所述多尺度特征包括原始尺度特征、预设中等尺度特征和预设最小尺度特征；
5、基于所述重构光流、所述原始尺度特征和所述输入图像的特征，得到所述输入图像的特征和所述原始尺度特征的可变形卷积偏移量；
6、基于所述可变形卷积偏移量，得到重构可变形卷积偏移量；
7、通过所述重构可变形卷积偏移量和所述重构光流，对所述原始尺度特征进行基于光流引导的可变形卷积补偿，并对所述预设中等尺度特征和预设最小尺度特征进行基于光流的补偿，得到混合多尺度上下文。
8、可选地，所述基于所述重构光流、所述原始尺度特征和所述输入图像的特征，得到所述输入图像的特征和所述原始尺度特征的可变形卷积偏移量的步骤，包括：
9、根据所述重构光流，对所述原始尺度特征进行扭曲，得到中间预测特征；
10、将所述中间预测特征、所述输入图像的特征和所述重构光流输入至卷积神经网络，估计所述输入图像的特征和所述原始尺度特征的可变形卷积偏移量。
11、可选地，所述通过所述重构可变形卷积偏移量和所述重构光流，对所述原始尺度特征进行基于光流引导的可变形卷积补偿，并对所述预设中等尺度特征和预设最小尺度特征进行基于光流的补偿，得到混合多尺度上下文的步骤，包括：
12、将所述重构光流作为所述可变形卷积偏移量的基础值，结合所述重构可变形卷积偏移量，对所述原始尺度特征进行基于光流引导的可变形卷积补偿，得到所述原始尺度特征的上下文；
13、对所述重构光流进行双线性下采样，得到预设中等尺度的重构光流和预设最小尺度的重构光流；
14、基于所述预设中等尺度的重构光流和所述预设最小尺度的重构光流，对所述预设中等尺度特征和所述预设最小尺度特征进行补偿，得到所述预设中等尺度特征的上下文和所述预设最小尺度特征的上下文。
15、可选地，所述方法还包括：
16、将所述输入图像输入至卷积神经网络，通过所述卷积神经网络提取出与所述输入图像尺度一致的所述输入图像的特征。
17、可选地，所述对所述先前解码帧的特征进行多尺度特征提取，得到多尺度特征的步骤，包括：
18、将所述先前解码帧的特征输入至金字塔式卷积神经网络，获得所述先前解码帧的多尺度特征。
19、可选地，所述基于所述输入图像和所述先前解码帧，获取重构光流的步骤，包括：
20、将所述待压缩帧和所述先前解码帧输入光流估计网络，得到光流；
21、将所述光流输入至光流编码器和光流解码器，得到重构光流。
22、可选地，所述方法还包括：
23、将所述输入图像和所述混合多尺度上下文输入至所述条件编码器和所述条件解码器，得到所述输入图像的重构中间特征；
24、将所述重构中间特征输入至所述帧生成器，得到所述输入图像的重构图像和所述输入图像的重构特征。
25、本技术还提供一种混合上下文生成装置，所述混合上下文生成装置包括：
26、重构模块，用于基于输入图像和先前解码帧，得到重构光流；
27、提取模块，用于对所述先前解码帧的特征进行多尺度特征提取，得到多尺度特征，所述多尺度特征包括原始尺度特征、预设中等尺度特征和预设最小尺度特征；
28、偏移量计算模块，用于基于所述重构光流、所述原始尺度特征和所述输入图像的特征，得到所述输入图像的特征和所述原始尺度特征的可变形卷积偏移量；
29、偏移量重构模块，用于基于所述可变形卷积偏移量，得到重构可变形卷积偏移量；
30、补偿模块，用于通过所述重构可变形卷积偏移量和所述重构光流，对所述原始尺度特征进行基于光流引导的可变形卷积补偿，并对所述预设中等尺度特征和预设最小尺度特征进行基于光流的补偿，得到混合多尺度上下文。
31、本技术还提供一种混合上下文生成设备，所述混合上下文生成设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如上任一项所述的混合上下文生成方法的步骤。
32、本技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的混合上下文生成方法的步骤。
33、本技术提供的一种混合上下文生成方法、装置、设备及计算机可读存储介质，所述混合上下文生成方法包括：基于输入图像和先前解码帧，得到重构光流；对所述先前解码帧的特征进行多尺度特征提取，得到多尺度特征，所述多尺度特征包括原始尺度特征、预设中等尺度特征和预设最小尺度特征；基于所述重构光流、所述原始尺度特征和所述输入图像的特征，得到所述输入图像的特征和所述原始尺度特征的可变形卷积偏移量；基于所述可变形卷积偏移量，得到重构可变形卷积偏移量；通过所述重构可变形卷积偏移量和所述重构光流，对所述原始尺度特征进行基于光流引导的可变形卷积补偿，并对所述预设中等尺度特征和预设最小尺度特征进行基于光流的补偿，得到混合多尺度上下文。
34、在常规技术中，基于深度学习的视频压缩方法在上下文生成的过程中，依赖于提取和传输上下文的帧间运动来消除时间冗余；上下文生成方法包括：基于光流的方法和基于可变形卷积的方法，基于光流的方法难以处理复杂场景，在处理复杂场景方面，基于可变形卷积的方法鲁棒性更好，但是也增加了运动编码的码率代价。
35、与常规技术不同，本技术提供的一种混合上下文生成方法、装置、设备及计算机可读存储介质，对不同尺度的特征应用不同的运动补偿策略，首先获取先前解码帧和输入图像的重构光流，接着，提取输入图像和先前解码帧的特征，得到输入图像的特征和先前解码帧的特征，并对先前解码帧的特征进行多尺度特征提取，得到先前解码帧的多尺度特征，然后获取输入图像的特征和先前解码帧的特征的可变形卷积偏移量的重构可变形卷积偏移量，通过重构可变形卷积偏移量和重构光流对多尺度特征进行补偿，得到混合多尺度上下文，通过结合基于光流的方法与基于可变形卷积的方法，在上下文生成的过程中对不同尺度的先前解码帧的特征应用不同的方法分别进行补偿，既保留了基于可变形卷积的方法在处理复杂运动时的鲁棒性，也通过基于光流的方法避免了过多的码率代价。以此，解决基于光流的方法在处理复杂场景时压缩性能较低的问题，提升了处理复杂场景时视频压缩性能。
1.一种混合上下文生成方法，其特征在于，所述混合上下文生成方法包括：
2.如权利要求1所述混合上下文生成方法，其特征在于，所述基于所述重构光流、所述原始尺度特征和所述输入图像的特征，得到所述输入图像的特征和所述原始尺度特征的可变形卷积偏移量的步骤，包括：
3.如权利要求2所述混合上下文生成方法，其特征在于，所述通过所述重构可变形卷积偏移量和所述重构光流，对所述原始尺度特征进行基于光流引导的可变形卷积补偿，并对所述预设中等尺度特征和预设最小尺度特征进行基于光流的补偿，得到混合多尺度上下文的步骤，包括：
4.如权利要求1所述混合上下文生成方法，其特征在于，所述方法还包括：
5.如权利要求1所述混合上下文生成方法，其特征在于，所述对所述先前解码帧的特征进行多尺度特征提取，得到多尺度特征的步骤，包括：
6.如权利要求1所述混合上下文生成方法，其特征在于，所述基于所述输入图像和所述先前解码帧，获取重构光流的步骤，包括：
7.如权利要求1所述混合上下文生成方法，其特征在于，所述方法还包括：
8.一种混合上下文生成装置，其特征在于，所述混合上下文生成装置包括：
9.一种混合上下文生成设备，其特征在于，所述混合上下文生成设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如权利要求1至7中任一项所述的混合上下文生成方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的混合上下文生成方法的步骤。
