本发明属于计算机视觉，具体涉及基于扩散模型的结肠息肉图像分割方法。
背景技术：
1、炎症性肠病(inflammatory bowel disease，ibd)是一种慢性复发性肠道炎性疾病，长久以来一直对人类的身体健康造成威胁(sung h,ferlay j,siegel r l,etal.global cancer statistics 2020:globocan estimates of incidence andmortality worldwide for 36cancers in 185countries[j].ca:a cancer journal forclinicians,2021,71(3):209-249.)。结肠镜取病变黏膜组织行病理学检查是诊断ibd的重要标准之一，要求内镜医师准确、多点(包括病变部位和非病变部位，其中病变部位主要体现为结肠息肉)取材，但结肠镜检查具有较大的主观性，容易受到不同操作者之间和同一个操作者不同时刻判断差异的限制(jacobs d o.diverticulitis[j].new england journalof medicine,2007,357(20):2057-2066.)。同时，在临床实践过程中，操作者之间仍存在相当大的差异(dekker e,tanis pj,vleugels jla,et al.colorectal cancer[j].lancet,2019,394(10207):1467-80.,winawer s j,zauber a g,ho m n,et al.prevention ofcolorectal cancer by colonoscopic polypectomy[j].new england journal ofmedicine,1993,329(27):1977-1981.)。因此，如何稳定、精准确定病变部位成为临床内镜诊疗过程中的重点和难点(samy aa.challenges facing the detection of colonicpolyps:what can deep learning do[j].medicina(kaunas),2019,55(8):473.)。
2、近年来，随着深度学习的飞速发展，基于人工智能技术的辅助诊断系统为医生的诊断提供了帮助，但是目前为止，基于高精度早期炎症性肠病分割的辅助诊断系统还不成熟。在该领域，人工智能辅助诊断系统还有很大的发展空间。
3、炎症性肠病分割任务作为医学图像分割的子类，其发展一直依赖于深度学习的发展，早期的息肉分割主要依赖于手工特征，其局限性包括特征提取过程繁琐，无法兼顾上下文信息等等。unet于2015年在miccai上被发表，其广泛应用于图像分割领域(ronneberger,o.,fischer,p.,brox,t.:u-net:convolutional networks for biomedical imagesegmentation.in:miccai.pp.234–241.springer(2015))。它是在fcn的基础上构建，其u型结构解决了fcn无法挖掘上下文的信息和位置信息的弊端。resunet++是通过对unet进行改进，增加更多的密集链接以进一步提取特征，在性能上有所提升(jha,d.,smedsrud,p.h.,riegler,m.a.,johansen,d.,de lange,t.,halvorsen,p.,johansen,h.d.:resunet++:anadvanced architecture for medical image segmentation.in:2019ieeeinternational symposium on multimedia(ism).pp.225–2255.ieee(2019))。2020年，pranet首次提出反向注意力机制，先确定大的肠病范围，再进一步分割出息肉。这种专用于炎症性肠病分割的网络取得到非常不错的进展(fan,d.p.,ji,g.p.,zhou,t.,chen,g.,fu,h.,shen,j.,shao,l.:pranet:parallel reverse attention network for polypsegmentation.in:international conference on medical image computing andcomputer-assisted intervention.pp.263–273(2020))。近年来，随着transfomer架构在各个领域的优异表现，基于transfomer架构的息肉分割模型大量出现，sffomer采用stepwise feature fusion对不同尺度的特征进行融合，取得了sota的表现(wang,j.,huang,q.,tang,f.,meng,j.,su,j.,song,s.(2022).stepwise feature fusion:localguides global.in:wang,l.,dou,q.,fletcher,p.t.,speidel,s.,li,s.(eds)medicalimage computing and computer assisted intervention–miccai 2022.miccai2022.lecture notes in computer science,vol 13433.springer,cham.)。transformer其在大数据、大模型上的显示出了远超fcn架构的优异表现。
4、但大量实验证明，transformer和cnn架构各自都存在一定缺陷，transformer架构缺少两个固有的归纳偏置，即平移不变性和局部相关性，这导致其通常需要大量数据才能得到优异的表现；cnn则存在感受野受限(lu z,xie h,liu c,et al.bridging the gapbetween vision transformers and convolutional neural networks on smalldatasets.arxiv preprint arxiv:2210.05958,2022.)，无法有效联系上下文特征的问题，这导致其对大小不一的目标分割效果有限。
5、因此，目前炎症性肠病辅助检测仍存在以下问题(1)早期炎症性肠病数据集较小，目标背景差异大，可学习特征有限。(2)需要新的算法，突破现有模型的框架，解决transformer和cnn架构存在的缺陷，实现更高精度的炎症性肠病分割。
技术实现思路
1、针对上述问题，本发明提供了一种可以实现高精度的炎症性肠病早期检测的结肠息肉图像分割方法，并给出了实现此种方法的装置。技术方案如下：
2、一种基于扩散模型的结肠息肉图像分割方法，包括如下的步骤：
3、步骤一：构建炎症性肠病图像数据集合；
4、步骤二：针对炎症性肠病分割任务，对数据集合进行包括亮度变换在内的数据增强；
5、步骤三：基于改进的扩散模型网络架构进行训练和推理，包括前向扩散过程即训练过程、反向扩散过程即推理过程，方法如下：
6、前向扩散过程即训练过程包括：
7、(1)将经过步骤二的增强处理的炎症性肠病图像送入在imagenet数据集上预训练好的resnet-50模型进行特征提取，所述resnet-50模型为将原resnet-50模型最后3组卷积替换为空洞卷积后得到的网络模型，所述resnet-50模型由四组基本残差块组成，提取得到四组尺寸依次变小的不同尺寸的特征图；
8、(2)采样一张与原始症性肠病图像尺寸相同的高斯噪声图像∈t～n(0,1)，将数据集中的原始症性肠病图像对应的标签图像(ground truth)与所采样的高斯噪声图像噪声图像∈t进行带权相加，叠加噪声t次得到带噪声的标签图像xt；
9、(3)将步骤(2)中得到的四组不同尺寸的特征图与xt的特征图逐层融合，将融合后的四组不同尺寸的特征图通过一个采用编解码器结构的去噪网络处理，其编码器部分采用resnet网络，解码器采用多尺度特征融合解码器，所述多尺度特征融合解码器包含局部特征聚合和多尺度特征融合两部分，局部特征聚合部分通过三个卷积层使得编码器中得到的特征图通道数相同；多尺度特征融合部分通过阶梯网络将多张特征图融合为一张图像x’t；
10、(4)将多通道特征图融合为一张图像x’t；
11、(5)将所得到的x’t与上一步得到的xt做loss，进行模型训练；
12、逆扩散过程即推理过程包括：
13、(6)采样一张高斯噪声图像∈t～n(0,1)，将此采样图像通过(3)中训练好的resnet-50编码器，得到特征图；
14、(7)将需要分割的炎性肠病图像i通过步骤(1)中训练好的resnet-50得到特征图，将该特征图与步骤(6)中得到的特征图进行特征融合；将融合后的特征图送入(3)中训练好的解码器中，得到xt-1；
15、(8)重复步骤(7)t-1次，得到x0即为模型预测的分割结果，保存所得到的最优网络模型，得到基于扩散模型的结肠息肉图像分割网络；
16、步骤四：结肠息肉图像分割。
17、进一步的，基于开源数据集kvasir-seg或cvc-clinicdb构建炎症性肠病图像数据集合。
18、进一步的，所述亮度变换的方法如下：
19、(1)将炎症性肠病图像由rgb颜色空间变换到yvu空间；
20、(2)将y通道乘以一个0.5-1.5之间的随机系数，再与一个-30-30之间的常数相加，使炎症性肠病图像的亮度范围扩大；
21、(3)将炎症性肠病图像转换回rgb颜色空间。
22、进一步的，所述数据增强还包括旋转、裁剪和运动模糊。
23、进一步的，所述多尺度特征融合解码器的局部特征融合包括三个卷积层，用于平滑的降低特征图的通道数，聚合局部特征；多尺度特征融合将第四组特征图通过一个1*1卷积并进行上采样，采样大小与第三组特征图大小相同，将第四组特征图与第三组特征图concat在一起；重复此流程直到四组特征图都concat在一起，将多通道特征图融合为一张图像x’t。
24、进一步的，所述loss采用复合损失函数，包含集合相似度量损失函数、交叉熵损失函数和均方误差损失函数。
25、进一步的，步骤四的方法如下：
26、(1)结肠镜深入体内，传回实时拍摄的视频流，以及视频流的清晰度、帧率、当前时间、拍摄时长参数；
27、(2)对视频进行预处理，即对视频帧进行图像增强，计算图像直方图，并根据直方图实现直方图均衡化，根据亮度值自适应调整亮度；
28、(3)将处理后的视频帧送入基于扩散模型的结肠息肉图像分割网络，输出结肠息肉图像分割图像。
29、本发明同时提供一种结肠息肉图像分割装置，包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行所述的方法。
30、本发明针对transformer和cnn架构存在的缺陷，设计了基于概论扩散模型的结肠息肉图像分割算法，结合改进后的resnet主干网络和多尺度特征融合解码，使用空洞卷积扩大感受野，通过前向过程高效学习结肠息肉中小目标特征及边界，通过多次扩散迭代充分挖掘图像信息。通过反向过程进行图像推理，得到边界清晰的分割结果。本发明具有以下有益效果：
31、(1)本发明提出了一种新的结肠息肉图像数据增强算法，该算法针对炎性肠病图像目标背景色彩差异小的问题，将色彩从可能学习到的特征中剔除，有效提升数据的多样性，使模型更具泛化性能。
32、(2)本发明提出的基于扩散模型的结肠息肉图像分割方法，将扩散概率模型引入息肉分割任务并优化，有效弥补了传统分割网络分割精度不高的问题。
33、(3)本发明提出的基于扩散模型的结肠息肉图像分割方法，主要针对炎性肠病早期在内镜下表现不典型，易被cad系统漏检的问题设计，可以用来有效减少炎症性肠病早期漏检率。
34、(4)本发明提出一种基于扩散模型的结肠息肉图像分割方法，可以辅助医生进行炎症性肠病检查,有效提高检测效率。
1.一种基于扩散模型的结肠息肉图像分割方法，包括如下的步骤：
2.根据权利要求1所述的结肠息肉图像分割方法，其特征在于，基于开源数据集kvasir-seg或cvc-clinicdb构建炎症性肠病图像数据集合。
3.根据权利要求1所述的结肠息肉图像分割方法，其特征在于，所述亮度变换的方法如下：
4.根据权利要求1所述的结肠息肉图像分割方法，其特征在于，所述数据增强还包括旋转、裁剪和运动模糊。
5.根据权利要求1所述的结肠息肉图像分割方法，其特征在于，所述多尺度特征融合解码器的局部特征融合包括三个卷积层，用于平滑的降低特征图的通道数，聚合局部特征；多尺度特征融合将第四组特征图通过一个1*1卷积并进行上采样，采样大小与第三组特征图大小相同，将第四组特征图与第三组特征图concat在一起；重复此流程直到四组特征图都concat在一起，将多通道特征图融合为一张图像x’t。
6.根据权利要求1所述的结肠息肉图像分割方法，其特征在于，所述loss采用复合损失函数，包含集合相似度量损失函数、交叉熵损失函数和均方误差损失函数。
7.根据权利要求1所述的结肠息肉图像分割方法，其特征在于，步骤四的方法如下：
8.一种结肠息肉图像分割装置，包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行权利要求1-7中的任一项所述的方法。
