基于两步式残差网络的水下图像增强方法

1.本发明涉及图像融合技术领域，尤其涉及基于两步式残差网络的水下图像增强方法。


背景技术：

2.传统的增强图像方法(如基于物理模型的方法和基于直方图均衡化的方法)不具备专一性，增强图像的清晰度效率低下。在自然条件下，水下图像会受到水中的粒子造成的不利影响，包括微浮游植物、彩色溶解有机物的光吸收、散射和非藻类粒子。此外，当光在水下传播时，它对不同波长的光具有选择性衰减的特性。严重的退化使得水下图像的外观和颜色难以恢复。因此，颜色及清晰度对于水下视觉任务和研究是极其重要的。


技术实现要素：

3.鉴以此，本发明的目的在于提供基于两步式残差网络的水下图像增强方法，以至少解决以上问题。
4.本发明采用的技术方案如下：
5.基于两步式残差网络的水下图像增强方法，所述方法包括以下步骤：
6.s1：通过调整type1和typei两种水域类型的介质衰减系数，并依据水下图像成像模型，以及调整的介质衰减系数，在type1和typei两种水域类型中模拟生成0.5米至5米不同水深的仅存色偏的模拟水下图像，获得仅存色偏的数据集和雾天数据集；
7.s2：将仅存色偏的数据集和雾天数据集划分为上层网络图像和下层网络图像；
8.s3：通过残差网络分别对上层网络图像和下层网络图像进行训练获得去除色偏图像以及去除雾感图像；
9.s4：通过残差网络组合去除色偏图像和去除雾感图像，获得去色偏和去雾感的清晰图像。
10.进一步的，在步骤s1中，所述type1为近海水域呈蓝色类型，typei为远海水域呈绿色类型。
11.进一步的，在步骤s1中，在type1和typei两种水域类型中模拟生成0.5米至5米不同水深的仅存色偏的模拟水下图像时，使用水下图像退化模型进行水下图像的模拟，所述水下图像退化模型公式如下：
12.u
λ
(x)＝i
λ
(x)
·
t
λ
(x) b
λ
·
(1-t
λ
(x))
[0013][0014][0015]
其中u
λ
(x)为水下图像,i
λ
(x)是场景亮度,是清晰的水下图像,b
λ
为均匀的
全局背景光,λ是红色、绿色和蓝色通道的光的波长,t
λ
(x)是光λ的波长和从场景点x到摄像机的距离d(x)的函数,其中β
λ
是依赖于波长的介质衰减系数，在光束通过距离为d(x)的传输介质前后从x发出的能量分别为e
λ
(x,0)和e
λ
(x,d(x))，归一化剩余能量比n
λ
对应于每单位距离的剩余能量与初始能量之比，在随机生成均匀的全局大气光0.7《b
λ
《0.8,并将水深d(x)调整为0.5米、1.5米、2.5米、3.5米、5米,对于每幅水下图像，基于随机b
λ
和d(x)对应type1、type i共生成10幅不同水深仅存在色偏的水下图像。
[0016]
进一步的，在步骤s3中，在获得去除色偏图像时，通过残差网络的堆叠残差来不断地提取上层网络图像的通道特征和跳跃连接来使上层网络图像加深。
[0017]
进一步的，获取去除色偏图像的计算公式如下：
[0018]
i1＝r(c(i
in
)；θ1)
[0019]
b1＝b(c(r(b(c(i1)；θ
(1，1)
))；θ
(1，2)
)) i1[0020]
b2＝b(c(r(b(c(b1)；θ
(2，1)
))；θ
(2，2)
)) b1[0021]
……
[0022]b10
＝b(c(r(b(c(b9)；θ
(10，1)
))；θ
(10，2)
)) b9[0023]iout1
＝r(c(b
10
)；θ
out
)
[0024]
其中，i
in
和i
out1
是上层网络的去除色偏图像的输入和输出，i1是输入i
in
经过卷积—relu的输出，θ1一组与之相关的权重和偏差，b1到b
10
是网络中堆叠的残差模块,θ
(l，n)
表示第l个残差模块第n个卷积层的权重和偏差，c表示卷积，r表示relu函数，b表示批量归一化。
[0025]
进一步的，在步骤s3中，在获得去除雾感图像时，将上层网络图像的去除色偏的输出i
out1
作为下层网络图像的输入，i
out
是下层网络图像的最终输出，去除雾感图像的计算公式如下：
[0026]ib1
＝r(c(i
out1
)；θ1)
[0027]bb1
＝b(c(b(c(r(b(c(i
b1
)；θ
(1，1)
))；θ
(1，2)
))；θ
(1，3)
)) i
b1
[0028]bb2
＝b(c(b(c(r(b(c(b
b1
)；θ
(2，1)
))；θ
(2，2)
))；θ
(2，3)
)) b
b1
[0029]
……
[0030]bb10
＝b(c(b(c(r(b(c(b
b9
)；θ
(10，1)
))；θ
(10，2)
))；θ
(10，3)
)) b
b9
[0031]iout
＝r(c(b
b10
)；θ
bout
)
[0032]
其中，i
b1
是输入i
out1
经过卷积—relu的输出，θ2一组与之相关的权重和偏差，b
b1
到b
b10
是残差网络中堆叠的残差。
[0033]
进一步的，在步骤s1中，依据雾天成像模型获得雾天数据集。
[0034]
与现有技术相比，本发明的有益效果是：
[0035]
本发明提出一种基于两步式残差网络的水下图像增强方法，根据水下图像成像模型获得仅存在色偏的数据集并与雾天数据集结合，采用残差网络分别训练两个数据集，使其分别拥有去除色偏、提高对比度的能力，最终达到增强水下图像的效果，使用两步式网络可以使每个网络更具专一性，更好的提取单一特征，同时减少了训练样本的数量，提高了网络的效率，高效的增强水下图像。
附图说明
[0036]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的优选实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0037]
图1是本发明实施例提供基于两步式残差网络的水下图像增强方法的整体流程示意图。
[0038]
图2是本发明实施例提供基于两步式残差网络的水下图像增强方法的模拟的水下图像示意图。
[0039]
图3是本发明实施例提供的基于两步式残差网络的水下图像增强方法的残差网络示意图
[0040]
图4是本发明实施例提供的基于两步式残差网络的水下图像增强方法的残差网络堆叠示意图
具体实施方式
[0041]
以下结合附图对本发明的原理和特征进行描述，所列举实施例只用于解释本发明，并非用于限定本发明的范围。
[0042]
实施例一
[0043]
参照图1-图4，本发明提供一种基于两步式残差网络的水下图像增强方法，所述方法包括以下步骤：
[0044]
s1：通过调整type1和typei两种水域类型的介质衰减系数，并依据水下图像成像模型，以及调整的介质衰减系数，在type1和typei两种水域类型中模拟生成0.5米至5米不同水深的仅存色偏的模拟水下图像，获得仅存色偏的数据集和雾天数据集，示例性地，色偏数据集：nyu v2室内数据集从中挑选500张生成了5000张仅存色偏的数据集，其中3000组作为测试集，500组作为测试集，图像尺寸为320*240；雾天数据集：nyu v2室内数据集从中挑选700张生成了2800雾天数据集，其中2500组作为测试集，300组作为测试集，图像尺寸为320*240。
[0045]
s2：将仅存色偏的数据集和雾天数据集划分为上层网络图像和下层网络图像，示例性地，通过上层网络图像和下层网络图像的划分可以更专一的对图像特征进行提取；
[0046]
s3：通过残差网络分别对上层网络图像和下层网络图像进行训练获得去除色偏图像以及去除雾感图像，示例性地，通过残差网络对上层网络图像和下层网络图像的训练可以更好的区分出去除色偏和去除雾感的图像；
[0047]
s4：通过残差网络组合去除色偏图像和去除雾感图像，获得去色偏和去雾感的清晰图像，示例性地，通过残差网络再次组合去除色偏图像和去除雾感图像，获得更加清晰的图像。
[0048]
在步骤s1中，所述type1为近海水域呈蓝色类型，typei为远海水域呈绿色类型。示例性地，通过模拟海水域呈蓝色远海水域呈绿色可以很好的模拟光的场景。
[0049]
在步骤s1中，在type1和typei两种水域类型中模拟生成0.5米至5米不同水深的仅存色偏的模拟水下图像时，使用水下图像退化模型进行水下图像的模拟，所述水下图像退
化模型公式如下：
[0050]uλ
(x)＝i
λ
(x)
·
t
λ
(x) b
λ
·
(1-t
λ
(x))
[0051][0052][0053]
其中u
λ
(x)为水下图像,i
λ
(x)是场景亮度,是清晰的水下图像,b
λ
为均匀的全局背景光,λ是红色、绿色和蓝色通道的光的波长,t
λ
(x)是光λ的波长和从场景点x到摄像机的距离d(x)的函数,其中β
λ
是依赖于波长的介质衰减系数，在光束通过距离为d(x)的传输介质前后从x发出的能量分别为e
λ
(x,0)和e
λ
(x,d(x))，归一化剩余能量比n
λ
对应于每单位距离的剩余能量与初始能量之比，在随机生成均匀的全局大气光0.7《b
λ
《0.8,并将水深d(x)调整为0.5米、1.5米、2.5米、3.5米、5米,对于每幅水下图像，基于随机b
λ
和d(x)对应type1、type i共生成10幅不同水深仅存在色偏的水下图像。
[0054]
在步骤s3中，在获得去除色偏图像时，通过残差网络的堆叠残差来不断地提取上层网络图像的通道特征和跳跃连接来使上层网络图像加深。
[0055]
获取去除色偏图像的计算公式如下：
[0056]
i1＝r(c(i
in
)；θ1)
[0057]
b1＝b(c(r(b(c(i1)；θ
(1，1)
))；θ
(1，2)
)) i1[0058]
b2＝b(c(r(b(c(b1)；θ
(2，1)
))；θ
(2，2)
)) b1[0059]
……
[0060]b10
＝b(c(r(b(c(b9)；θ
(10，1)
))；θ
(10，2)
)) b9[0061]iout1
＝r(c(b
10
)；θ
out
)
[0062]
其中，i
in
和i
out1
是上层网络的去除色偏图像的输入和输出，i1是输入i
in
经过卷积—relu的输出，θ1一组与之相关的权重和偏差，b1到b
10
是网络中堆叠的残差模块,θ
(l，n)
表示第l个残差模块第n个卷积层的权重和偏差，c表示卷积，r表示relu函数，b表示批量归一化，示例性地，在该层网络图像的卷积层使用的都是3
×
3大小的卷积核，可以保持图像尺寸不变引入了跳跃连接，这可以使上一个残差块的信息没有阻碍的流入到下一个残差块，提高了信息流通，并且也避免了由与该层网络过深所引起的消失梯度问题和退化问题，使该层网络达到去除色偏的效果。
[0063]
在步骤s3中，在获得去除雾感图像时，将上层网络图像的去除色偏的输出i
out1
作为下层网络图像的输入，i
out
是下层网络图像的最终输出，去除雾感图像的计算公式如下：
[0064]ib1
＝r(c(i
out1
)；θ1)
[0065]bb1
＝b(c(b(c(r(b(c(i
b1
)；θ
(1，1)
))；θ
(1，2)
))；θ
(1，3)
)) i
b1
[0066]bb2
＝b(c(b(c(r(b(c(b
b1
)；θ
(2，1)
))；θ
(2，2)
))；θ
(2，3)
)) b
b1
[0067]
……
[0068]bb10
＝b(c(b(c(r(b(c(b
b9
)；θ
(10，1)
))；θ
(10，2)
))；θ
(10，3)
)) b
b9
[0069]iout
＝r(c(b
b10
)；θ
bout
)
[0070]
其中，i
b1
是输入i
out1
经过卷积—relu的输出，θ2一组与之相关的权重和偏差，b
b1
到bb10
是残差网络中堆叠的残差，示例性地，下层网络图像去除雾感，下层网络图像堆叠带有1x1卷积的大残差块使其处理更复杂的雾感特征，先在一个降维1乘1卷积层下减少了计算，然后在另一个1x1的卷积层下做了还原，既保持了精度又减少了计算量。最后得到去除色偏、除雾的清晰水下图像，并且在与上层网络图像的第一层卷积不同的是卷积核的数量由64维提升到256维，可以更好的提取雾天图像特征，在b
b1
到b
b10
是下层网络图像堆叠的残差由1x1卷积 3x3卷积 1x1卷积构成，利用1x1卷积减小计算量的同时，解决了网络退化问题。
[0071]
在步骤s1中，依据雾天成像模型获得雾天数据集，示例性地，通过雾天成像模型进行大量的训练可以更好的提取雾天图像特征。
[0072]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。