本发明涉及一种基于yolo结构的静态ct肺结节检测方法,同时也涉及相应的静态ct肺结节检测系统,属于医学图像处理领域。
背景技术:
1、随着工业化的发展,在给人类带来丰厚的福祉的同时,也给大气环境带来了持续的污染。受此影响,肺癌成为了当前常发的癌症之一。近年来,其发病率不断上升,发病人群呈现日益年轻化。肺结节作为肺癌的临床早期发病表现,备受医生关注,如何尽早发现其存在,并防止进一步恶化是当前医学上亟待攻克的难题。
2、计算机断层扫描技术(computed tomography,简写为ct)能够清晰的呈现出肺部内部结构,提供准确的肺部信息,成为肺结节筛查的有效手段。但由于早期肺结节体积较小,形状各异,人工手段对海量ct图像进行病理性分析将会给医生的准确判断带来极大的困难,并且大量阅片还可能会造成医生的疲劳性漏诊,误诊。近年来,随着人工智能的发展,计算机辅助诊断方兴未艾,利用计算机辅助诊断系统(cad)能有辅助医生快速准确识别肺部结节及其位置。
3、基于传统机器学习的肺结节检测方法被率先提出,其方法大多聚焦于利用手工提取的方式挖掘肺结节语义特征,之后再采用支持向量机(support vector machine,svm),逻辑回归(logistic regression)等分类器预测肺结节置信度,聚类算法(clusteringalgorithm),线性回归(linear regression)等回归器预测肺结节坐标框。该方法费时费力,并且在不同数据集上的泛化性较差,不利于在大规模数据上的应用。深度学习的诞生,解决了上述困难,尤其是以rcnn家族和yolo家族为首的深度目标检测框架在多个目标检测任务上获得了前所未有的成功,备受世人关注。有研究人员首先开发出了应用于肺结节检测的faster rcnn网络,并在之后对其不断优化,在检测精度上取得了很好的效果。但是faster rcnn属于两阶段的网络,其高精度的代价是超长的推理时间,这不利于医务工作者快速阅片的需要。也有研究人员基于yolo模型,开发出了肺结节检测网络,该网络虽然能够极大的缩短推理时间,但精度却不能满足实际应用的要求。
技术实现思路
1、本发明所要解决的首要技术问题在于提供一种基于yolo结构的静态ct肺结节检测方法。
2、本发明所要解决的另一技术问题在于提供一种基于yolo结构的静态ct肺结节检测系统。
3、为实现上述技术目的,本发明采用以下的技术方案:
4、根据本发明实施例的第一方面,提供一种基于yolo结构的静态ct肺结节检测方法,包括如下步骤:
5、获取患者的肺部ct图像,并对所述肺部ct图像进行预处理,以输出预处理数据;
6、将所述预处理数据输入特征提取网络进行特征提取,以输出经过多层卷积后的特征提取结果;
7、将所述特征提取结果输入特征强化网络进行特征强化,以输出经过特征强化后的特征强化结果;
8、将所述特征强化结果输入特征预测网络进行预测,以输出多个预测框;其中,每一个所述预测框分别对应不同特征的预测结果;
9、获取患者的预测需求,所述预测需求至少包括预测阈值或预测框的数量;
10、基于所述预测需求,从所述多个预测框中选择设定数量的预测框作为向患者展示的最终预测结果。
11、其中较优地,对所述肺部ct图像进行预处理,具体包括:
12、读取所述肺部ct图像,并转换为图像矩阵;
13、对所述图像矩阵进行归一化处理,以将所述图像矩阵从hu值转换到rgb值;
14、对归一化后的图像矩阵进行掩膜处理,以获得肺部形状的掩膜矩阵;
15、对所述掩膜矩阵进行坐标转换,以将所述掩膜矩阵中各像素的位置信息从世界坐标体系映射到笛卡尔坐标系;
16、将所述掩膜矩阵作用于归一化处理后的图像矩阵上,以获取只有肺部区域的肺部矩阵;
17、对所述肺部矩阵进行图像裁剪,以从所述肺部矩阵中裁剪多个图像块,作为所述特征提取网络的输入数据;
18、对所述图像块进行翻转、平移或旋转,以对所述输入数据进行增强。
19、其中较优地,将所述预处理数据输入特征提取网络进行特征提取,具体包括:
20、在每一层原双通道模块中,引入了两个注意力模块,以利用所述注意力模块处理原双通道模块的输出;其中,所述特征提取网络由引入注意力机制的多层双通道模块构成;
21、通过下式将结果进行拼接,以输出当前层数的双通道模块所对应的特征提取结果featn;其中,n∈(1,n),并且当前层数的双通道模块的特征提取结果会作为下一层双通道模块的输入;
22、feat=concat(x[:,:d,:,:]+se(out)[:,:d,:,:],x[:,d:,:,:],se(out)[:,d:,:,:])
23、其中,concat函数代表拼接操作,se代表注意力模块,out为原双通道模块的输出,x代表原双通道模块的输入,d代表索引。
24、其中较优地,将所述特征提取结果输入特征强化网络进行特征强化,具体包括:
25、将最终层数的双通道模块所对应的特征提取结果featn输入sppcspc模块,以利用两个残差连接的分支结构分别获取第一输出结果和第二输出结果;并将所述第一输出结果与所述第二输出结果进行拼接,以获取所述sppcspc模块输出的特征图;
26、将所述特征图输入fon模块,以将所述特征图与各层双通道模块所对应的特征提取结果进行特征堆叠,从而输出最终的特征强化结果。
27、其中较优地,所述sppcspc模块的处理过程包括:
28、将最终层数的双通道模块所对应的特征提取结果featn输入sppcspc模块的第一分支结构,以经过卷积后再经过并行的三个最大值池化分支,池化核大小分别为1,3,5,经过池化核处理后,将三个池化核处理结果进行拼接,得到第一输出结果;
29、将最终层数的双通道模块所对应的特征提取结果featn输入sppcspc模块的第一分支结构,以只经过一次卷积后得到第二输出结果;
30、将所述第一输出结果与所述第二输出结果进行拼接,以获取所述sppcspc模块输出的特征图。
31、其中较优地,所述fon模块的处理过程包括:
32、对所述特征图进行上采样,以获取第一上采样结果;
33、将n-1层双通道模块所对应的特征提取结果featn-1进行残差卷积,并保持通道数和尺寸大小不变,得到featn-1所对应的卷积结果;
34、将所述第一上采样结果与所述featn-1所对应的卷积结果进行合并,并在合并之后再次进行上采样,以获取第二上采样结果;
35、将n-2层双通道模块所对应的特征提取结果featn-2进行残差卷积,并保持通道数和尺寸大小不变,得到featn-2所对应的卷积结果;
36、将所述第二上采样结果与所述featn-2所对应的卷积结果进行合并,并在合并之后再次进行上采样,以获取第三上采样结果;
37、以此类推,直至获取第n-2上采样结果;
38、获取将第二层双通道模块所对应的特征提取结果feat2进行残差卷积,并保持通道数和尺寸大小不变,得到feat2所对应的卷积结果;
39、将所述第n-2上采样结果与所述feat2所对应的卷积结果进行合并,并在合并之后再次进行下采样,以获取下采样结果;
40、将所有层的卷积结果进行合并,以得到最终的特征强化结果。
41、其中较优地,将所述特征强化结果输入特征预测网络进行预测,具体包括:
42、将所述特征强化结果输入特征预测网络的第一分支,并经过一个通道数和尺寸大小不变的残差卷积后,再经过一个输出尺寸为1的卷积核,以得到用于预测置信度的第一逻辑输出结果;
43、将所述特征强化结果输入特征预测网络的第二分支,并经过一个通道数和尺寸大小不变的残差卷积后,再经过一个输出尺寸为1的卷积核,以得到用于预测类别的第二逻辑输出结果;
44、将所述特征强化结果输入特征预测网络的第三分支,并经过一个通道数和尺寸大小不变的残差卷积后,再经过一个输出尺寸为4的卷积核,以得到用于预测肺结节中心点坐标和最大直径的第三逻辑输出结果;
45、根据所述第一逻辑输出结果、第二逻辑输出结果和第三逻辑输出结果的属性,分别采用不同类型的损失函数用于反向传播时更新网络梯度;
46、引入了难分类样本挖掘,只采用难分类负样本和所有正样本计算分类损失,以消除预测样本中的正负样本不平衡性;
47、
48、其中,positive_lcls代表正样本的分类损失,negative_lcls代表负样本的分类损失,total_lcls代表总体分类损失。
49、其中较优地,基于置信度为大小0~1之间的连续值,因此采用sigmoid损失函数;
50、
51、其中,y_pred代表预测结果;
52、基于类别为0,1,2,3,...的离散值,因此采用bceloss损失函数;
53、l(y_true,y_pred)=-y_true*lg(y_pred)-(1-y_true)*lg(1-y_pred)
54、其中,y_pred代表预测结果,y_true代表真实标签。
55、基于坐标为无固定范围的连续值,因此采用smoothl1loss损失函数;
56、
57、其中,y_pred代表预测结果,y_true代表真实标签。
58、其中较优地,所述静态ct肺结节检测方法还包括:
59、根据预测框的置信度将所有预测框进行排序;
60、选择最大分数的预测框m,将其他与m框重叠度的iou超过预设阈值,并且属于同一类的预测框删除;
61、
62、其中,sa代表a预测框的面积,sb代表b预测框的面积。
63、重新对剩余的预测框进行排序,并重复上述操作。
64、直到所有的预测框遍历一遍后,输出剩下的预测框。
65、根据本发明实施例的第二方面,提供一种基于yolo结构的静态ct肺结节检测系统,包括:
66、预处理模块,用于获取患者的肺部ct图像,并对所述肺部ct图像进行预处理,以输出预处理数据;
67、特征提取模块,预设有特征提取网络并与所述预处理模块连接,以用于接收所述预处理数据并进行特征提取,从而输出经过多层卷积后的特征提取结果;
68、特征强化模块,预设有特征强化网络并与所述特征提取模块连接,以用于接收所述特征提取结果并进行特征强化,从而经过特征强化后的特征强化结果;
69、特征预测模块,预设有特征预测网络并与所述特征强化模块连接,以用于接收所述特征强化结果并进行预测,从而输出多个预测框;其中,每一个所述预测框分别对应不同特征的预测结果;
70、展示模块,与所述特征预测模块连接,以用于接收患者的预测需求并基于所述预测需求从所述多个预测框中选择设定数量的预测框作为向患者展示的最终预测结果。
71、与现有技术相比较,本发明具有以下的技术效果:
72、1.采用基于yolo架构的一阶段网络设计,推理速度快;对网络结构进行合理的改进,检测精度高,能够实现高速度和高精度同时兼备的效果。
73、2.采用dual path network和inception机制相结合的卷积模块,采用残差连接(residual path)能够很好的保留提取到的重要特征,不容易被反向传播中的梯度爆炸或者梯度消失的问题所干扰。采用紧密连接(dense path)能够更好的挖掘出特征图中待检测物体的重要特征,进一步提升网络精度。采用inception机制能够给予重要特征更多的权重因子,使得网络更好的关注到这些重要因素。由此,将上述三种网络结构相结合,能够同时拥有很好的提取、保留、关注特征的能力。
74、3.采用特征橄榄型网络,相较于常用的特征金字塔结构,省去了部分上采样,下采样以及特征堆叠的过程,不仅能够很好的避免模型出现过拟合现象,而且在堆叠特征的同时,极大的提升推理速度。
75、4.采用解耦合的预测头设计,将回归头和分类头的预测分开。通过将输入的特征图进行两次独立的平面卷积,将其解耦合后,再分别送入回归头和分类头中进行预测。由此,避免了回归头和分类头之间由于耦合的互相干扰,提升了预测精度。
76、5.在输出结果时,设计两种不同的筛选条件,从而可根据用户的需求筛选出更为可靠的预测结果。合理的结果可视化筛选机制,也能够给患者带来更舒适的使用体验。
1.一种基于yolo结构的静态ct肺结节检测方法,其特征在于包括如下步骤:
2.如权利要求1所述的静态ct肺结节检测方法,其特征在于对所述肺部ct图像进行预处理,具体包括:
3.如权利要求2所述的静态ct肺结节检测方法,其特征在于将所述预处理数据输入特征提取网络进行特征提取,具体包括:
4.如权利要求3所述的静态ct肺结节检测方法,其特征在于将所述特征提取结果输入特征强化网络进行特征强化,具体包括:
5.如权利要求4所述的静态ct肺结节检测方法,其特征在于所述sppcspc模块的处理过程包括:
6.如权利要求4所述的静态ct肺结节检测方法,其特征在于所述fon模块的处理过程包括:
7.如权利要求1所述的静态ct肺结节检测方法,其特征在于将所述特征强化结果输入特征预测网络进行预测,具体包括:
8.如权利要求7所述的静态ct肺结节检测方法,其特征在于:
9.如权利要求7所述的静态ct肺结节检测方法,其特征在于还包括:
10.一种基于yolo结构的静态ct肺结节检测系统,其特征在于包括:
