本发明涉及深度学习语义分割,具体涉及一种基于相似注意力机制的乳腺癌细胞核分割方法及系统。
背景技术:
1、近年来女性患乳腺癌的人数呈上升趋势,而乳腺癌是属于恶性肿瘤的一种,致死率极高,给女性的生命健康造成了严重威胁;乳腺癌的早期诊断和治疗对提高患者的治愈率至关重要,传统的诊断方法之一是采用医学影像技术,但存在着一些局限性,如细胞核分割精度不够高、主观性因素大,操作复杂且易出错等问题。但随着深度学习技术的发展,基于深度学习的医学图像分析和处理技术在乳腺癌的诊断和治疗中得到了广泛应用。
2、细胞核分割是医学图像分析中的一个重要问题,它的主要任务将给出的医学图像中的细胞核与其背景分离,通过细胞核分割能有效帮助医生对于细胞核的形态、大小和结构等特征进行研究;对于乳腺癌的诊断和治疗而言,细胞核分割技术是一个必要的步骤,可以帮助医生更准确地发现乳腺癌细胞核并进行乳腺癌分级诊断,为后续的治疗提供更准确的信息;
3、现阶段乳腺癌细胞核分割检测方法存在以下缺陷:
4、(1)传统方式下病理科医生通过观察wsi影像给出的相关诊断依赖于医生的经验,并且存在耗时长、受主观因素影响大及检测精度较低等弊端。
5、(2)传统的网络模型分割乳腺癌细胞核时,存在细胞核之间粘连,边缘结构不清晰等问题;
6、因此,如何快速且精确地自动分割出乳腺癌细胞核,是当前乳腺癌细胞核分割任务急需解决的问题。
技术实现思路
1、为了解决以上技术问题,本发明提供了一种基于相似注意力机制的乳腺癌细胞核分割方法,所述方法包括:
2、s1、采集乳腺癌细胞核图像,对所述乳腺癌细胞核图像进行数据增强,得到数据增强图像;
3、s2、将所述数据增强图像输入基于相似注意力机制算法中进行特征提取,得到特征图,所述特征图包括乳腺癌细胞核特征图和乳腺癌细胞核预测特征图;所述基于相似注意力机制算法包括编码器和解码器,所述编码器使用vgg网络对所述数据增强图像进行下采样,得到乳腺癌细胞核特征图;所述解码器采用膨胀卷积进行上采样,得到乳腺癌细胞核预测特征图;
4、s3、将基于所述乳腺癌细胞核特征图和所述乳腺癌细胞核预测特征图,利用相似注意力机制,计算下采样与上采样的相似度,生成相融的加权特征图;
5、s4、将所述加权特征图与所述乳腺癌细胞核预测特征图连接,进一步实现对乳腺癌细胞核的分割。
6、可选的,s1中,所述数据增强是指将采集的乳腺癌细胞核图像进行上下翻转、左右翻转、上下翻转后左右翻转、随机旋转、随机放缩、随机裁剪,再将数据增强后的图像放缩到256×256大小。
7、可选的,s2中,使用vgg网络对所述数据增强图像进行下采样具体包括:
8、s21、对所述数据增强图像进行3×3的卷积后进行归一化,得到归一化图像;
9、s22、将所述归一化图像输入relu激活函数层,得到初始特征图;
10、s23、重复s21-s22,得到乳腺癌细胞核特征图。
11、可选的,s2中,所述编码器中添加有dropout层,将所述dropout层添加在vgg归一化层之后,随机节点失活率设置为0.3;
12、可选的,s2中,采用膨胀卷积进行上采样具体包括:
13、设置锯齿状的膨胀系数来扩大感受野并消除空洞效应,膨胀卷积的卷积核大小设置为2,膨胀系数设置为r=[1,3]。
14、可选的,s2中,解码器通过bcewithlogitsloss计算预测图和真实图之间的多路损失进行反向转播,直至模型稳定,得到乳腺癌细胞核预测特征图。
15、本发明还公开基于相似注意力机制的乳腺癌细胞核分割系统,所述系统包括:数据增强模块、特征图获取模块、注意力机制模块和图像分割模块;
16、所述数据增强模块用于采集乳腺癌细胞核图像,对所述乳腺癌细胞核图像进行数据增强,得到数据增强图像;
17、所述特征图获取模块用于将所述数据增强图像输入基于相似注意力机制算法中进行特征提取,得到特征图,所述特征图包括乳腺癌细胞核特征图和乳腺癌细胞核预测特征图;所述基于相似注意力机制算法包括编码器和解码器,所述编码器使用vgg网络对所述数据增强图像进行下采样,得到乳腺癌细胞核特征图;所述解码器采用膨胀卷积进行上采样,得到乳腺癌细胞核预测特征图;
18、所述注意力机制模块用于基于所述乳腺癌细胞核特征图和所述乳腺癌细胞核预测特征图,利用相似注意力机制,计算下采样与上采样的相似度,生成相融的加权特征图;
19、所述图像分割模块用于将所述加权特征图与所述乳腺癌细胞核预测特征图连接,实现对乳腺癌细胞核的分割。
20、可选的,所述特征图获取模块包括上采样子模块和下采样子模块;
21、所述上采样子模块用于采用膨胀卷积进行上采样,得到乳腺癌细胞核预测特征图;
22、所述下采样子模块用于使用vgg网络对所述数据增强图像进行下采样,得到乳腺癌细胞核特征图。
23、与现有技术相比,本发明的有益效果为:
24、(1)本发明提出一种相似注意力机制模块,通过计算上采样与下采样的特征相似度来强化网络自适应学习能力,提高了分割乳腺癌细胞核的精度,大大减轻病理医学工作者的负担;
25、(2)本发明采用锯齿状膨胀系数的膨胀卷积来进行上采样,尽可能保留更多的语义信息大大提高信息的利用率,提高模型分割性能;
26、(3)本发明可以在只有原始乳腺癌细胞核图像的情况下,由计算机自动生成乳腺癌细胞核预测掩码图,为检测者提供一个获得比较可靠的乳腺癌细胞核分割图的渠道,某些情况下甚至计算机生成的效果要优于人工诊断;
27、(4)本发明在很大程度上节约病理科医生阅片诊断的时间和费用等成本,同时缓解细胞之间粘黏严重、边缘不清晰的问题。
28、附图说明
29、为了更清楚地说明本发明的技术方案,下面对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
30、图1为本发明实施例的一种基于相似注意力机制的乳腺癌细胞核分割方法与系统的方法步骤图;
31、图2为本发明实施例的一种基于相似注意力机制的乳腺癌细胞核分割方法与系统的基于相似注意力机制算法分割网络的结构图;
32、图3为本发明实施例的一种基于相似注意力机制的乳腺癌细胞核分割方法与系统的系统结构图;
33、图4为本发明实施例的一种基于相似注意力机制的乳腺癌细胞核分割方法与系统的注意力机制模块结构示意图;
34、图5为本发明实施例的一种基于相似注意力机制的乳腺癌细胞核分割方法与系统的膨胀卷积空洞效应示意图;
1.一种基于相似注意力机制的乳腺癌细胞核分割方法,其特征在于,所述方法包括:
2.根据权利要求1所述的基于相似注意力机制的乳腺癌细胞核分割方法,其特征在于,s1中,所述数据增强是指将采集的乳腺癌细胞核图像进行上下翻转、左右翻转、上下翻转后左右翻转、随机旋转、随机放缩、随机裁剪,再将数据增强后的图像放缩到256×256大小。
3.根据权利要求1所述的基于相似注意力机制的乳腺癌细胞核分割方法,其特征在于,s2中,使用vgg网络对所述数据增强图像进行下采样具体包括:
4.根据权利要求1所述的基于相似注意力机制的乳腺癌细胞核分割方法,其特征在于,s2中,所述编码器中添加有dropout层,将所述dropout层添加在vgg归一化层之后,随机节点失活率设置为0.3。
5.根据权利要求1所述的基于相似注意力机制的乳腺癌细胞核分割方法,其特征在于,s2中,采用膨胀卷积进行上采样具体包括:
6.根据权利要求1所述的基于相似注意力机制的乳腺癌细胞核分割方法,其特征在于,s2中,解码器通过bcewithlogitsloss计算预测图和真实图之间的多路损失进行反向转播,直至基于相似注意力机制算法模型稳定,得到乳腺癌细胞核预测特征图。
7.一种基于相似注意力机制的乳腺癌细胞核分割系统,使用所述权利要求1-6任意一条所述乳腺癌细胞核分割方法,其特征在于,所述系统包括:数据增强模块、特征图获取模块、注意力机制模块和图像分割模块;
8.根据权利要求7所述的基于相似注意力机制的乳腺癌细胞核分割系统,其特征在于,所述特征图获取模块包括上采样子模块和下采样子模块;