本发明涉及图像处理技术与医学图像增强领域,特别涉及一种基于retinex理论的有监督内窥镜图像增强方法。
背景技术:
1、随着科技水平不断发展,电子内窥镜在医疗领域得到了非常广泛的应用,医生可以通过电子内窥镜直接观察到人体内脏器官的组织形态以及病变情况,以更好地对患者病情进行诊断。在诊断过程中,图像质量的好坏对于最终诊断结果的准确与否起到了至关重要的作用。但人体内结构复杂、缺乏光照,内窥镜也由于本身体积限制导致无论光照质量还是成像质量都较差,因此由电子内窥镜直接获得的图像往往存在照明不足、图像亮度对比度不足、纹理细节不清晰等问题,进而增加医生误诊和漏诊的概率。因此,如何对内窥镜图像进行增强处理是一个非常具有实际应用价值和研究意义的问题。
技术实现思路
1、针对现有技术存在的缺陷,本发明的目的是提出一种基于retinex理论的有监督内窥镜图像增强方法,按照retinex理论将待增强的图像分解成光照图与反射图两部分分别进行增强,将复杂问题拆解成两个简单子问题,有效地减小了问题规模,同时引入传统图像增强算法clahe作为先验,有效提升了模型训练速度与最终的增强效果。
2、为达到上述目的,本发明采用如下的技术方案:
3、一种基于retinex理论的有监督内窥镜图像增强方法,操作步骤如下:
4、步骤1、分解网络模型的训练:
5、将训练数据集中成对的高质/低质内窥镜图像输入到分解网络d-net中,进行分解网络模型训练;
6、步骤2、数据集图像预处理及分解:
7、对训练数据集中的低质内窥镜图像进行限制对比度自适应直方图均衡化(contrast limited adaptive histogram equalization,clahe)预处理,并将处理前后的图像与对应的高质内窥镜图像分别输入到步骤1训练后的分解网络d-net中进行分解;
8、步骤3、增强网络模型的训练:
9、将在步骤2中进行分解得到的低质光照图输入到光照图增强网络el-net中,并将在步骤2中进行分解得到的低质反射图与clahe反射图输入到反射图增强网络er-net中,进行增强网络模型训练;
10、步骤4、待增强内窥镜图像预处理与分解:
11、对待增强的内窥镜图像进行clahe预处理,并将处理前后的图像分别输入到步骤1训练后的分解网络d-net中进行分解;
12、步骤5、光照图与反射图的增强与合成:
13、将步骤4中分解得到的待增强的光照图与反射图分别输入到步骤3训练后的对应增强网络中处理,得到增强后的光照图与反射图,两者合成得到最终的内窥镜增强图像。
14、优选地,所述步骤1分解网络模型的训练,包括如下具体操作步骤:
15、1-1:将训练数据集中原始的低质内窥镜图像与经人工增强后的高质内窥镜图像输入到分解网络d-net中进行训练;
16、1-2:损失函数由四个损失项构成,分别是反射图一致性损失、重建损失、交叉损失和光照平滑度损失;
17、1-3:网络模型训练采用adam优化算法,初始学习率为0.001,批处理尺寸为16,总共进行(n/16)*200次迭代训练,其中n为训练数据集中的图像数量。
18、优选地,所述步骤2数据集图像预处理及分解,包括如下具体操作步骤:
19、2-1:将训练数据集中原始的低质内窥镜图像输入到步骤1中训练得到的分解网络d-net中进行分解,得到原始的低质光照图和反射图;
20、2-2:将训练数据集中经人工增强后的高质内窥镜图像输入到步骤1中训练得到的分解网络中进行分解,得到人工增强的高质光照图和反射图;
21、2-3:使用clahe算法对待训练数据集中原始的低质内窥镜图像进行处理,之后输入到步骤1中训练得到的分解网络中进行分解,得到clahe先验反射图。
22、优选地,所述步骤3增强网络模型的训练,包括如下具体操作步骤:
23、3-1:将步骤2中得到的低质光照图和高质光照图输入到光照图增强网络el-net中进行训练,低质反射图、clahe反射图与高质反射图输入到反射图增强网络el-net中进行训练;
24、3-2:损失函数由两个损失项构成,分别是单项损失和重建损失;
25、3-3:网络模型训练采用adam优化算法,初始学习率为0.001,批处理尺寸为16,总共进行(n/16)*400次迭代训练,其中n为训练数据集中的图像数量,并使用交替训练的策略轮流对两个增强网络进行训练。
26、优选地,所述步骤4待增强内窥镜图像预处理与分解,包括如下具体操作步骤:
27、4-1:将待增强的内窥镜图像输入到步骤1中训练得到的分解网络中进行分解,得到待增强的光照图与反射图;
28、4-2:使用clahe算法对待增强的内窥镜图像进行处理,之后输入到步骤1中训练得到的分解网络中进行分解,得到clahe先验反射图。
29、优选地,所述步骤5光照图与反射图的增强与合成,包括如下具体操作步骤:
30、5-1:将步骤4中获得的待增强光照图输入到步骤3中训练得到的用于光照图的增强网络中进行增强,得到增强后的光照图;
31、5-2:先将步骤4中获得的待增强反射图与clahe先验反射图进行拼接,之后输入到步骤3中训练得到的用于反射图的增强网络中进行增强,得到增强后的反射图;
32、5-3:将增强后的光照图与反射图进行逐元素乘法,得到最终的内窥镜增强图像。
33、本发明与现有技术相比较,具有如下显而易见的突出实质性特点和显著优点:
34、1、本发明方法在分解阶段,按照retinex理论将待增强的内窥镜图像分解成光照图与反射图两部分,将图像解耦至两个子空间,有效降低了问题复杂度;在增强阶段,对光照图与反射图分别进行增强,并引入clahe先验,能够有效地对图像的光照与纹理信息同时进行增强,最终合成得到光照均匀、纹理清晰的内窥镜增强图像;
35、2、与现有内窥镜图像增强方法相比,本发明生成的内窥镜增强图像视觉质量更高,这将有效提高电子内窥镜图像用于医疗诊断时的效率与诊断准确性。
1.一种基于retinex理论的有监督内窥镜图像增强方法,其特征在于,操作步骤如下:
2.根据权利要求1所述的基于retinex理论的有监督内窥镜图像增强方法,其特征在于,所述步骤1分解网络模型的训练,包括如下具体操作步骤:
3.根据权利要求1所述的基于retinex理论的有监督内窥镜图像增强方法,其特征在于,所述步骤2数据集图像预处理及分解,包括如下具体操作步骤:
4.根据权利要求1所述的基于retinex理论的有监督内窥镜图像增强方法,其特征在于,所述步骤3增强网络模型的训练,包括如下具体操作步骤:
5.根据权利要求1所述的基于retinex理论的有监督内窥镜图像增强方法,其特征在于,所述步骤4待增强内窥镜图像预处理与分解,包括如下具体操作步骤:
6.根据权利要求1所述的基于retinex理论的有监督内窥镜图像增强方法,其特征在于,所述步骤5光照图与反射图的增强与合成,包括如下具体操作步骤: