可流化隐式神经表示的图像压缩方法、设备及介质

专利检索2024-12-17  30


本技术属于图像处理领域,特别是涉及一种可流化隐式神经表示的图像压缩方法、设备及介质。


背景技术:

1、图像压缩在图像的高效存储和传输中具有至关重要的地位,其主要目标是通过消除冗余信息,将数据编码成最小的比特流,以便通过信道传输后还能以最小的失真程度还原数据。传统的图像压缩方法采用手工设计的混合编码框架,然而,该框架中的各个模块通常是独立设计的,因此缺乏模块间的联合优化,难以实现压缩质量的进一步提升。

2、近年来,基于深度学习的图像压缩方法受到了广泛的研究,其中基于自动编码器构建的端到端图像压缩方法已经在率失真性能上超越了传统方法,如jpeg,bpg等。然而,这种端到端的图像压缩算法参数规模较大,解码复杂度较高,因此难以部署到资源有限的设备中去。

3、目前,出现了一种新兴的数据表征范式,被称为隐式神经表示。隐式神经表示通常采用多层感知机模型,与基于自动编码器的图像压缩方法相比,具有参数量更小,计算复杂度更低,解码速度更快及其数据表征连续等优点。

4、在使用隐式神经表示进行图像压缩时,图像数据被表征为模型参数进行传输。

5、发明人发现,在模型结构固定的情况下,对应模型的压缩码率也是固定的,率失真性能也保持不变。然而,在实际的流媒体传输中,原始信号通常需要根据图像质量需求决定传输对应码率的模型。传统方法中,针对一幅图像,如果要获得不同的图像质量(分辨率或码率),需要多次训练不同码率的多个完整模型,其中每次训练都是一个完整的全新训练过程,耗时较长,且训练得到的多个完整模型体量都较大,这会消耗大量的存储资源和训练时间,同时在传输时也要传输多个较大的完整模型,消耗带宽资源。


技术实现思路

1、为了解决现有技术中隐式神经表示进行图像压缩时,为了满足多码率的图像压缩和传输,消耗大量的存储资源、训练时间以及带宽资源的问题,本技术提出一种可流化隐式神经表示的图像压缩方法、设备及介质,技术方案如下:

2、一方面,本技术提供一种可流化隐式神经表示的图像压缩方法,包括步骤:

3、s1:基网络训练,针对目标图像进行隐式神经网络模型训练,以获得基网络模型;

4、s2:扩增网络训练,对基网络进行尺度扩增后,再进行隐式神经网络模型训练,以获得第一阶段的扩增网络模型;

5、s3:循环扩增网络训练,循环执行尺度扩增及隐式神经网络模型训练,以获得第n阶段的扩增网络模型;

6、其中,目标图像包含特定频率信息,特定频率信息包括低频结构信息和高频细节信息,基网络模型用以捕获目标图像中的低频结构信息,扩增网络模型用以捕获目标图像中的高频细节信息,扩增网络模型中较大的网络用以捕获较小网络中未包含的高频细节信息;

7、其中,基网络模型的模型参数为基模型参数第i阶段的扩增网络模型的模型参数为阶段模型参数第n阶段的扩增网络模型的模型参数为完整模型参数完整模型参数包含阶段模型参数0<i<n,i和n为正整数;基模型参数阶段模型参数以及完整模型参数用以在接收端进行图像重建,以获取不同码率的图片。

8、其中,使用带有权重参数θ的神经网络来表达图像,整个可流化训练过程分为t个阶段,θst代表第t个训练阶段的新增网络参数,每个阶段都有特定的输出层用于生成残差图像,整个训练过程的目标是最小化各层输出与真实标签之间的均方误差,具体的训练过程如下:

9、t为正整数。

10、其中,在进行隐式神经网络模型训练时,对模型参数采用默认初始化方式,默认初始化方式具体包括:默认使用周期激活函数siren中的方式进行初始化,权重设置为其中n代表隐藏层神经元的数量。

11、其中,对基网络训练时,基网络参数采用模型无关元学习方法获取初始化参数用以替代默认的初始化参数,以加快模型拟合新图片时的收敛速度,模型无关元学习方法具体包括:

12、输入一个图像数据体t进行模型无关元学习,对每张图片进行一次外环训练和三次内环训练;

13、其中,参数表示为该参数正处于第j次外环训练中,并处于外环训练中的第i次内环训练,图像数据体t中第j张图像为在训练图像时的初始参数为经过第i次内环训练后得到参数梯度更新过程为:

14、

15、在经过三次内环训练后,外环训练利用内环训练中累积的损失值求解二阶梯度来更新上一训练周期的外环初始参数以获得当前训练周期的外环参数更新规则为:

16、

17、其中,α为内环学习率,β为外环学习率,其中α为可学习的变量,β为固定值。

18、其中,尺度扩增包括深度扩增和宽度扩增,深度扩增包括横向增加隐藏层的数量,宽度扩增包括纵向增加隐藏层中神经元的数量,以扩增捕获的特定频率信息,深度扩增参数为θs′1,宽度扩增参数为θs″1。

19、其中,深度扩增参数θs′1采用带宽限制的初始化,具体包括:

20、计算原始图像的像素矩阵i的方差σ0,并计算原始图像i与基网络重建图像z0的距离以得到图像残差标签r0,计算残差标签r0的方差σ1,通过计算方差之比和调节参数λ来获取缩放系数,并计算初始化带宽深度扩增参数θs′1的分布为n为模型中隐藏层的宽度。

21、其中,宽度扩增参数θs″1采用零初始化,具体包括:

22、将扩增网络模型中第i个隐藏层的神经元分为两个部分,包括位于基网络中的参数wik|0<k≤s和位于扩增网络中的参数wik|s<k≤d,其中s代表隐藏层位于基网络中的神经元个数,d代表隐藏层整体的神经元个数;

23、将wik|s<k≤d到w(i+1)k|0<k≤s的权重始终保持为0,且不参与后续训练更新,以避免扩增网络模型对已训练的基网络模型产生影响;

24、将wik|s<k≤d到w(i+1)k|s<k≤d的权重初始保持为0,但后续会参与训练更新,以避免扩增网络模型学习基网络模型中包含的冗余信息;

25、将wik|0<k≤s到w(i+1)k|s<k≤d的权重采用默认初始化方式。

26、其中,在训练中,将基网络的权重进行参数冻结,即将wik|0<k≤s到w(i+1)k|0<k≤s的权重保持为原值,并不参与后续训练更新;

27、获取已训练的基网络模型的输出特征z0,以及扩增网络模型的输出特征xi,xi为第i个阶段时所输出的残差特征,输出特征z0和输出特征xi用以叠加后获取重建图像;

28、第i个阶段的扩增网络训练过程为:

29、

30、其中t为当前的可流化训练阶段,为位于可流化阶段n时的模型参数。

31、其中,还包括步骤:

32、s4:量化编码传输,将基网络模型和/或扩增网络模型的模型参数进行均匀量化后,再进行熵编码转化为二进制码流,将二进制码流通过信道传输,以供接收方进行图像重建;

33、其中,量化编码传输包括量化编码传输完整模型参数或者量化编码传输阶段模型参数

34、另一方面,本技术提供一种计算机设备,计算机设备包括计算机可读存储介质、处理器及存储在计算机可读存储介质上并可在处理器上运行的计算机程序,其中,处理器执行程序时实现如上任一项的可流化隐式神经表示的图像压缩方法。

35、再一方面,本技术提供一种可读存储介质,可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现以上任一项的可流化隐式神经表示的图像压缩方法。

36、本技术的有益效果是:本技术方案通过采用动态网络结构和渐进式训练策略,分别获得基网络模型和多个扩增网络模型,并对应获取基模型参数阶段模型参数以及完整模型参数用以在接收端进行图像重建,以获取不同码率的图片,从而通过一套模型就可以满足不同图片质量的重建需求,节省存储资源和训练时间,以及降低图片在传输时对带宽资源的消耗。


技术特征:

1.一种可流化隐式神经表示的图像压缩方法,其特征在于,包括步骤:

2.根据权利要求1所述的可流化隐式神经表示的图像压缩方法,其特征在于,使用带有权重参数θ的神经网络来表达图像,整个可流化训练过程分为t个阶段,θst代表第t个训练阶段的新增网络参数,每个阶段都有特定的输出层用于生成残差图像,整个训练过程的目标是最小化各层输出与真实标签之间的均方误差,具体的训练过程如下:

3.根据权利要求2所述的可流化隐式神经表示的图像压缩方法,其特征在于,在进行隐式神经网络模型训练时,对模型参数采用默认初始化方式,所述默认初始化方式具体包括:默认使用周期激活函数siren中的方式进行初始化,权重设置为其中n代表隐藏层神经元的数量。

4.根据权利要求3所述的可流化隐式神经表示的图像压缩方法,其特征在于,对所述基网络训练时,所述基网络参数采用模型无关元学习方法获取初始化参数用以替代默认的初始化参数,以加快模型拟合新图片时的收敛速度,所述模型无关元学习方法具体包括:

5.根据权利要求3所述的可流化隐式神经表示的图像压缩方法,其特征在于,所述尺度扩增包括深度扩增和宽度扩增,所述深度扩增包括横向增加隐藏层的数量,所述宽度扩增包括纵向增加所述隐藏层中神经元的数量,以扩增捕获的所述特定频率信息,所述深度扩增参数为θ′s1,所述宽度扩增参数为θ″s1。

6.根据权利要求5所述的可流化隐式神经表示的图像压缩方法,其特征在于,所述深度扩增参数θ′s1采用带宽限制的初始化,具体包括:

7.根据权利要求5所述的可流化隐式神经表示的图像压缩方法,其特征在于,所述宽度扩增参数θ″s1采用零初始化,具体包括:

8.根据权利要求5所述的可流化隐式神经表示的图像压缩方法,其特征在于,

9.根据权利要求1所述的可流化隐式神经表示的图像压缩方法,其特征在于,还包括步骤:

10.一种计算机设备,其特征在于,所述计算机设备包括计算机可读存储介质、处理器及存储在计算机可读存储介质上并可在处理器上运行的计算机程序,其中,所述处理器执行所述程序时实现如权利要求1-9中任一项所述的可流化隐式神经表示的图像压缩方法。

11.一种可读存储介质,其特征在于,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-9中任一项所述的可流化隐式神经表示的图像压缩方法。


技术总结
本申请公开了一种可流化隐式神经表示的图像压缩方法、设备及介质,方法包括步骤:基网络训练,针对目标图像进行隐式神经网络模型训练,以获得基网络模型;扩增网络训练,对基网络进行尺度扩增后,再进行隐式神经网络模型训练,以获得第一阶段的扩增网络模型;循环扩增网络训练,循环执行尺度扩增及隐式神经网络模型训练,以获得第N阶段的扩增网络模型。本申请方案通过采用动态网络结构和渐进式训练策略,分别获得基网络模型和多个扩增网络模型,并对应获取模型参数用以在接收端进行图像重建,以获取不同码率的图片,从而通过一套模型就可以满足不同图片质量的重建需求,节省存储资源和训练时间,以及降低图片在传输时对带宽资源的消耗。

技术研发人员:梁永生,肖晨虎,毛青宇,陈家聪,刘帅
受保护的技术使用者:深圳技术大学
技术研发日:
技术公布日:2024/5/29
转载请注明原文地址:https://win.8miu.com/read-1147483.html

最新回复(0)