本公开涉及图像处理领域,尤其涉及一种基于事件的暗光图像增强方法及电子设备。
背景技术:
1、受限于低照度环境与相机传感器的限制,视频常常伴随着明显的噪声和信息不足,导致细节的丧失以及整体视觉质量的下降。通过增强算法的处理,可以明显增强暗光视频的细节,提升暗光视频的视觉质量以及在下游任务中的应用,如自动驾驶、目标检测、语义分割等。
2、当前视频增强通常从视频本身挖掘信息并进行增强。由于相机传感器的局限性,视频极暗区域会不可避免的丢失细节信息,在增强时这部分信息依然会缺失,造成效果下降。
3、有鉴于此,如何实现视频极暗区域的细节的增强,成为一个重要的技术问题。
技术实现思路
1、有鉴于此,本公开的目的在于提出一种基于事件的暗光图像增强方法及电子设备,用以解决或部分解决上述问题。
2、基于上述目的,本公开的第一方面提供了一种基于事件的暗光图像增强方法,所述方法包括:
3、获取初始图像数据,确定所述初始图像数据对应的事件信息;
4、将所述初始图像数据及所述事件信息输入至预先经过训练的暗光图像增强模型,其中所述暗光图像增强模型包括反射分量增强模块、光照分量增强模块及合成模块;
5、分别对所述初始图像数据及所述事件信息进行映射处理,得到图像特征图及事件特征图;
6、将所述图像特征图输入至光照分量增强模块,利用所述光照分量增强模块对所述图像特征图进行增强处理,得到光照分量;
7、将所述图像特征图及所述事件特征图输入至反射分量增强模块,利用所述反射分量增强模块基于所述事件特征图对所述图像特征图进行增强处理,得到反射分量;
8、将所述光照分量及所述反射分量输入至合成模块中,利用所述合成模块进行合成处理,得到增强图像数据。
9、基于同一发明构思,本公开的第二方面提出了一种基于事件的暗光图像增强装置,包括:
10、数据获取模块,被配置为获取初始图像数据,确定所述初始图像数据对应的事件信息;
11、数据输入模块,被配置为将所述初始图像数据及所述事件信息输入至预先经过训练的暗光图像增强模型,其中所述暗光图像增强模型包括反射分量增强模块、光照分量增强模块及合成模块;
12、映射处理模块,被配置为分别对所述初始图像数据及所述事件信息进行映射处理,得到图像特征图及事件特征图;
13、光照分量增强模块,被配置为将所述图像特征图输入至光照分量增强模块,利用所述光照分量增强模块对所述图像特征图进行增强处理,得到光照分量;
14、反射分量增强模块,被配置为将所述图像特征图及所述事件特征图输入至反射分量增强模块,利用所述反射分量增强模块基于所述事件特征图对所述图像特征图进行增强处理,得到反射分量;
15、合成处理模块,被配置为将所述光照分量及所述反射分量输入至合成模块中,利用所述合成模块进行合成处理,得到增强图像数据。
16、基于同一发明构思,本公开的第三方面提出了一种电子设备,包括存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序,所述处理器在执行所述计算机程序时实现如上所述的基于事件的暗光图像增强方法。
17、基于同一发明构思,本公开的第四方面提出了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使计算机执行如上所述的基于事件的暗光图像增强方法。
18、从上述可以看出,本公开提出一种基于事件的暗光图像增强方法及电子设备,获取初始图像数据并确定所述初始图像数据对应的事件信息,所述事件信息包含有所述初始图像数据对应的完整的运动信息。将初始图像信息及事件信息输入至预先经过训练的暗光图像增强模型,以供后续利用所述暗光图像增强模型输出增强图像数据。分别对所述初始图像数据及所述事件信息进行映射处理,得到图像特征图及事件特征图,以供后续将所述图像特征图及所述事件特征图输入至光照分量增强模块及反射分量增强模块进行增强处理。将所述图像特征图输入至光照分量增强模块,利用所述光照分量增强模块对所述图像特征图进行增强处理,得到光照分量。将所述图像特征图及所述事件特征图输入至反射分量增强模块,利用所述反射分量增强模块基于所述事件特征图对所述图像特征图进行增强处理,得到反射分量。将所述光照分量及所述反射分量输入至合成模块中,利用所述合成模块进行合成处理,得到增强图像数据。利用所述暗光图像增强模型对所述初始图像数据及时间信息进行处理,得到的增强图像数据更准确。同时,因处理时采用了事件信息,使得在增强极暗区域时,能够恢复极暗区域的细节,提高了增强效果。
1.一种基于事件的暗光图像增强方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述分别对所述初始图像数据及所述事件信息进行映射处理,得到图像特征图及事件特征图,包括:
3.根据权利要求1所述的方法,其特征在于,所述光照分量增强模块包括编码器,
4.根据权利要求1所述的方法,其特征在于,所述反射分量增强模块包括图像特征处理模块及事件特征处理模块,
5.根据权利要求4所述的方法,其特征在于,所述图像特征处理模块包括特征提取模块、下采样层及图像事件融合模块,
6.根据权利要求5所述的方法,其特征在于,所述特征提取模块包括四层,每层包括第一归一化层、第一卷积层、通道注意力层、第二归一化层及第二卷积层,
7.根据权利要求5所述的方法,其特征在于,所述图像事件融合模块包括区域选择模块及注意力融合模块,
8.根据权利要求1所述的方法,其特征在于,所述暗光图像增强模型还包括对齐模块,
9.根据权利要求1所述的方法,其特征在于,所述暗光图像增强模型的训练过程包括:
10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如权利要求1至9任意一项所述的基于事件的暗光图像增强方法。