本发明属于医学图像处理,涉及一种人机协同的病灶可彻底切除程度智能评估方法。
背景技术:
1、计算机断层扫描(computed tomography,ct)作为常见的肺部成像方式,在肺癌的早期筛查中起到重要作用。和常规的胸部x光成像相比,ct图像可以展示更丰富的肺部结构,以显示肿瘤具体的结构信息,包括肿瘤的大小、形状和位置等。对于非小细胞肺癌而言,ct扫描能够在早期发现肺部病变,提高患者生存几率。
2、然而,使用ct图像诊断还有着以下不足:对于ct模态图像而言,图像由上百个切片组成,浏览所有的切片需要耗费医生大量的时间和精力。其次,判断肿瘤可切除性的金标准是肿物是否侵袭血管,而即使是经验丰富的临床放射科医生,也很难仅根据ct影像准确判断这些肿物是否侵袭了血管。由于缺乏专业准确的诊断,许多无法彻底切除的患者进行了无效手术。
3、目前,基于神经网络的深度学习方法在医学图像中得到了极为广泛的应用,展示了该方法在疾病诊断方面的巨大潜力。2016年,wang等人比较了多种传统机器学习方法和深度学习方法对非小细胞肺癌良恶性诊断的准确率。结果显示,深度学习方法优于传统的机器学习方法。
技术实现思路
1、为了解决上述问题,本发明提出一种人机协同的病灶可彻底切除程度智能评估方法。该方法使用了多级残差卷积神经网络作为骨干网络,输入增强ct图像切片进行训练,再将测试数据输入训练好的网络中,得到预测结果,判断局部细胞是否能够彻底切除。医生在拿到网络的预测结果之后进行再判断,准确率高于只根据ct图像判断。
2、本发明的技术方案是:
3、一种人机协同的病灶可彻底切除程度智能评估方法,包括以下步骤:
4、s1、数据预处理
5、ct图像由上百个切片组成,且每个切片图像尺寸较大,直接输入网络不仅训练速度慢,非病灶区域还可能对网络产生干扰。所以,本发明所使用的ct图像都事先经由经验丰富的医生进行了病灶点标注。预处理过程为:提取ct图像的dicom序列中的目标区域,先将dicom序列转化成一组二维的图像,然后根据标记点坐标选取所需的层的图像进行裁剪,得到训练用的图像。
6、s2、建立骨干网络
7、使用多级残差卷积神经网络作为骨干网络。多级残差卷积神经网络包含四个稠密块(dense block,db),每个稠密块间由过渡块连接,以实现稠密块间的降采样。稠密块由多个卷积核尺寸为1×1和3×3的卷积层连接,卷积层的数量分别为6,12,24,16;过渡块(transition layer,tl)包含一个卷积核尺寸为1×1的卷积层,以及一个平均池化层。输入的ct图像经过稠密块中的卷积层后得到图像的特征信息,这些特征信息由特征图的形式输出。稠密块的每层都将前面所有的特征图作为输入,以达到最大化利用图像特征的目的。过渡块的作用是连接两个相邻的稠密块,并且降低特征图的大小,加速网络的运行速度。图像在经过四个稠密块和过渡块的特征信息提取之后,在线性层将特征信息连接起来。采用s1中预处理后的图像进行训练,获得基准图像特征,然后将待评估的图像输入骨干网络中,提取出相应的图像特征,并与基准图像特征进行比较,获得二者的相似度。最后将图像进行独热编码输出,通过计算softmax激活函数给出目标区域为局部细胞可切除的概率。
8、softmax激活函数是一种用于多类别分类问题的激活函数,通常用于神经网络的输出层。它将相似度转换为表示概率分布的数值,使得每个类别的概率值都在0和1之间,并且所有类别的概率之和等于1。
9、softmax激活函数公式为:
10、
11、其中,pi代表第i个类别的概率分布,e代表自然对数的底数,zi代表第i个类别的相似度,n代表类别的数量,在本发明中n为2,分别为可切除和不可切除。softmax函数可以放大具有更高相似度的类别的概率,因此可以更好地区分不同类别的可能性。
12、s3、网络参数设计
13、骨干网络训练使用adam优化器,对交叉熵损失函数(cross entropy loss,celoss)进行优化。网络的初始学习率(learning rate,lr)设置为2e-5。受gpu显存大小和图像尺寸限制,批处理大小(batch size)可以设置为64。网络权重使用kaiming初始化,经过200个epoch停止训练。
14、s4、医生再判断
15、首先,医生根据原始的ct图像对病灶可切除程度作判断。然后使用步骤s2中的网络对病灶的可切除程度进行预测。医生根据网络的预测结果对自己原本的判断进行更新。
16、本发明的有益效果:本发明将多级残差卷积神经网络与临床诊断相结合,通过稠密块和过渡块的设计,可以更好的对图像的特征信息进行利用,简化了网络结构,减少冗余计算,且具有更快的学习收敛速度。通过本发明,医生可以对局部细胞可切除性进行更为准确的判断。
1.一种人机协同的病灶可彻底切除程度智能评估方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种人机协同的病灶可彻底切除程度智能评估方法,其特征在于,所述步骤s1中数据预处理的过程如下:
3.根据权利要求1所述的一种人机协同的智能化肺癌病灶可彻底切除程度评估方法,其特征在于,所述步骤s4中医生再判断的过程如下:
