基于卷积神经网络的CT图像目标检测方法、装置及设备

基于卷积神经网络的ct图像目标检测方法、装置及设备
技术领域
1.本发明属于图像目标检测技术领域，具体涉及一种基于卷积神经网络的ct图像目标检测方法、装置及设备。


背景技术：

2.医疗图像在临床诊断中具有重要意义。以ct(computed tomography，电子计算机断层扫描)图像为例，医生往往通过ct图像判断疑似患者有无病情以及病情的严重程度。很多病种如果在早期被诊断发现，则会有更大的机会得到有效的治疗，提高患者的生存率。但是，根据ct图像进行病情诊断的准确率非常依赖医生经验，在大多数情况下，医生需要通过肉眼去识别，难度较大，而且不同的医生可能给出不同的预测。
3.为了解决该问题，相关技术中，通常采用计算机辅助诊断技术(computer aided diagnosis，cad)对ct图像进行自动处理，可以实现在ct图像上框出疑似病灶的空间位置，提供给医师参考。
4.但是，目前的计算机辅助诊断技术有数据集不具有普遍性，算法之间难以对比，检测的准确率低，假阳性率高，难以大范围应用于临床诊断等。因此，如何提高ct图像的目标检测成功率成为现有技术中亟待解决的技术问题。


技术实现要素：

5.本发明提供了一种基于卷积神经网络的ct图像目标检测方法、装置及设备，以解决ct图像的目标检测成功率较低的技术问题。
6.本发明提供的技术方案如下：
7.一方面，一种基于卷积神经网络的ct图像目标检测方法，包括：
8.获取目标患者的ct图像；
9.将所述ct图像输入至预设ct图像目标检测模型中，得到所述ct图像中的目标区域及所述目标区域的类别。
10.可选的，所述预设ct图像目标检测模型的构建方法，包括：
11.基于ssd模型，在所述ssd模型的特征输出层设置注意力机制模块；
12.所述特征输出层用于输出特征图；
13.所述注意力机制模块对所述特征图的不同通道分配不同的权重。
14.可选的，所述预设ct图像目标检测模型，包括：特征输出层模块和检测匹配模块；
15.所述特征输出层模块，包括多个特征输出层；
16.所述检测匹配模块，接收所述特征输出层输出的特征图，和，通过所述注意力机制模块调整权重的调整特征图，并根据所述特征图和所述调整特征图生成检测框便宜了和类别标签，确定ct图像中的目标区域及所述目标区域的类别。
17.可选的，所述将所述ct图像输入至预设ct图像目标检测模型中，得到所述ct图像中的目标区域及所述目标区域的类别，包括：
18.提取第一预设特征输出层输出的特征图；以及，通过注意力机制模块获取第二预设特征输出层的特征图；所述第二预设特征输出层属于所述第一预设特征输出层；
19.使用每一层的先验框对特征输出层信息进行提取；
20.通过定位器根据每一个先验框信息生成检测框偏移量；
21.通过分类器根据每一个先验框信息生成类别标签；
22.剔除类别标签为背景的先验框，消除冗余先验框；
23.得到所述ct图像中的目标区域及所述目标区域的类别。
24.可选的，所述预设ct图像目标检测模型的构建方法，包括：
25.划分数据集为训练集和测试集，所述训练集和测试集内均包含多个标注好目标区域和目标区域类别的ct图像；
26.根据所述训练集中的ct图像，训练设置了注意力机制模块的预设ct图像目标检测模型，得到初步预设ct图像目标检测模型；
27.根据所述测试集中的ct图像，对所述初步预设ct图像目标检测模型进行测试和修正，得到目标预设ct图像目标检测模型，将所述目标预设ct图像目标检测模型作为所述预设ct图像目标检测模型。
28.又一方面，一种基于卷积神经网络的ct图像目标检测装置，包括：获取模块和检测模块；
29.所述获取模块，用于获取目标患者的ct图像；
30.所述检测模块，用于将所述ct图像输入至预设ct图像目标检测模型中，得到所述ct图像中的目标区域及所述目标区域的类别。
31.可选的，还包括，模型构建模块；所述模型构建模块，用于基于ssd模型，在所述ssd模型的特征输出层设置注意力机制模块；所述特征输出层用于输出特征图；所述注意力机制模块对所述特征图的不同通道分配不同的权重。
32.可选的，所述模型构建模块，用于划分数据集为训练集和测试集，所述训练集和测试集内均包含多个标注好目标区域和目标区域类别的ct图像；根据所述训练集中的ct图像，训练设置了注意力机制模块的预设ct图像目标检测模型，得到初步预设ct图像目标检测模型；根据所述测试集中的ct图像，对所述初步预设ct图像目标检测模型进行测试和修正，得到目标预设ct图像目标检测模型，将所述目标预设ct图像目标检测模型作为所述预设ct图像目标检测模型。
33.又一方面，一种基于卷积神经网络的ct图像目标检测设备，包括：处理器，以及与所述处理器相连接的存储器；
34.所述存储器用于存储计算机程序，所述计算机程序至少用于执行上述任一项所述的基于卷积神经网络的ct图像目标检测方法；
35.所述处理器用于调用并执行所述存储器中的所述计算机程序。
36.可选的，所述设备为ct扫描仪。
37.本发明的有益效果为：
38.本发明实施例提供的基于卷积神经网络的ct图像目标检测方法、装置及设备，通过获取目标患者的ct图像；将ct图像输入至预设ct图像目标检测模型中，得到ct图像中的目标区域及目标区域的类别。通过预先设置ct图像目标检测模型，在ct图像目标检测模型
中设置注意力机制模块，对特征图中的不同通道分配不同的权重，提取特征图中的有用新型，提升ct图像的目标检测成功率。
附图说明
39.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
40.图1为本发明实施例提供的一种基于卷积神经网络的ct图像目标检测方法的流程示意图；
41.图2为本发明实施例提供的一种预设ct图像目标检测模型的结构示意图；
42.图3为本发明实施例提供的一种注意力机制模块的结构示意图；
43.图4为本发明实施例提供的一种处理为jpg格式的ct图像示意图，其中，(a)为一切片处理为jpg格式的ct图像示意图，(b)为又一切片处理为jpg格式的ct图像示意图；
44.图5为本发明实施例提供的一种基于卷积神经网络的ct图像目标检测装置的结构示意图；
45.图6为本发明实施例提供的一种基于卷积神经网络的ct图像目标检测设备结构示意图。
具体实施方式
46.为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
47.为了至少解决本发明中提出的技术问题，本发明实施例提供一种基于卷积神经网络的ct图像目标检测方法。
48.图1为本发明实施例提供的一种基于卷积神经网络的ct图像目标检测方法的流程示意图，参阅图1，本发明实施例提供的方法，可以包括以下步骤：
49.s11、获取目标患者的ct图像；
50.s12、将ct图像输入至预设ct图像目标检测模型中，得到ct图像中的目标区域及目标区域的类别。
51.在一个具体的实现过程中，可以定义任意一个需要对身体健康情况进行确定的患者为目标患者，采集目标患者的ct图像。并将ct图像输入到预设ct图像目标检测模型中，从而获得ct图像中的目标区域和目标区域的类型，以使医护人员进行查看。医护人员根据目标区域和目标区域的类型，来对ct图像的患者情况进行评价。
52.例如，ct图像可以为肺部ct图像，肺部ct图像输入到预设ct图像目标检测模型后，得到各个组织器官中的结节情况。其中，目标区域为需要的组织器官区域，目标区域类别为肺结节。
53.图2为本发明实施例提供的一种预设ct图像目标检测模型的结构示意图。
54.可选的，预设ct图像目标检测模型的构建方法，包括：基于ssd模型，在ssd模型的特征输出层设置注意力机制模块；特征输出层用于输出特征图；注意力机制模块对特征图的不同通道分配不同的权重。
55.可选的，预设ct图像目标检测模型，包括：特征输出层模块和检测匹配模块；特征输出层模块，包括多个特征输出层；
56.检测匹配模块，接收特征输出层输出的特征图，和，通过注意力机制模块调整权重的调整特征图，并根据特征图和调整特征图生成检测框便宜了和类别标签，确定ct图像中的目标区域及目标区域的类别。
57.例如，参阅图2，预设ct图像目标检测模型基于ssd模型进行构建，其中的特征输出层模块，可以包括多个特征输出层，如，包括，image层、c1_2层、c2_2层、c3_3层、c4_3层、c5_3层、c6层、c7层、c8层、c9层、c10层、c11层，image层用于接收ct图像，参阅现有ssd模块对每层的定义。预设ct图像目标检测模型，还包括检测匹配模块，检测模块包括图2中的1和2，即detection和non-maximum supression,此次不做具体赘述。
58.其中，输入的ct图像尺寸为300
×
300，注意力机制模块(squeeze-and-attention module，sa)，sa设置在c4_3层和c8层的输出端。
59.可选的，将ct图像输入至预设ct图像目标检测模型中，得到ct图像中的目标区域及目标区域的类别，包括：提取第一预设特征输出层输出的特征图；以及，通过注意力机制模块获取第二预设特征输出层的特征图；第二预设特征输出层属于第一预设特征输出层；使用每一层的先验框对特征输出层信息进行提取；通过定位器根据每一个先验框信息生成检测框偏移量；通过分类器根据每一个先验框信息生成类别标签；剔除类别标签为背景的先验框，消除冗余先验框；得到ct图像中的目标区域及目标区域的类别。
60.例如，第一预设特征输出层包括c1_2层、c2_2层、c3_3层、c4_3层、c5_3层、c6层、c7层，第二预设特征输出层包括c4_3层和c8层。
61.本技术中，预设ct图像目标检测模型的主体框架是ssd模型，在原来vgg16的后面添加了几个卷积层来预测偏移和置信度，输入为300*300*3，采用conv4_3(即c4_3层，得到特征图大小38*38)，conv7(即c7层，19*19)，conv8(即c8层，10*10)，conv9(即c9层，5*5)，conv10(即c10层，3*3)和conv11(即c11层，1*1)的输出来预测位置和置信度。
62.ssd网络前面得到的特征图比较大，后面会逐渐采用stride＝2的卷积或者池化来降低特征图大小，从而减少计算与满足内存的需求，且，最后提取的特征层有某种程度上的平移与尺度不变性，不同尺度的特征图都用来做检测。比较大的特征图来用来检测相对较小的目标，而小的特征图负责检测大目标。直接采用卷积对不同的特征图来进行提取检测结果。
63.ssd借鉴了faster r-cnn中锚框的理念，将特征层切分为一个个格子特征层细胞，对于每一个格子，设置的一系列固定大小的先验框，预测的边界框是以这些先验框为基准的，在一定程度上减少训练难度。在特征图的每个细胞中预测k个框。对于每个框，预测c个类别得分，以及相对于先验边界框的4个偏移值，这样需要(c 4)*k个预测器，在m*n的特征图上将产生(c 4)*k*m*n个预测值。在ssd结构中，先验框不需要和每一层的感受野相对应，特定的特征图负责处理图像中特定尺度的物体。
64.本技术中，基于神经网络，通过加深网络层数，能逐渐扩大信息捕获范围(感受
野)，最终实现全局信息的有效整合和加工。现有技术中的卷积存在两个问题，一是感受野不够，二是权重固定。注意力机制是对全局的特征层做自相关，能有效整合全局信息；注意力机制能构建与输入相关的位置之间的依赖关系，即哪些局部特征与问题最相关，分配到的权重越多。将有限的注意力集中在重点信息上，快速获得最有效的信息；注意力机制的权重参数不是固定的，针对不同的输入能自适应构建权重分配关系。注意力机制根据其实现方式主要分为两类：空间注意力和通道注意力。
65.图3为本发明实施例提供的一种注意力机制模块的结构示意图，本技术构建的预设ct图像目标检测模型使用的注意力机制如图3所示。sa模块包含能够下采样但不完全压缩的注意力通道，以有效地产生非局部空间注意力，避免在输出中使用繁重的空洞卷积。具体讲，注意力卷积来生成注意力掩膜，因为每个卷积核都会在输入特征图进行扫描。不同于se模型增强主干网络，sa模型整合了空间注意力和head单元，其输出通常被整合在一起以提高性能。sa与se相似，都有一条额外的路径来学习权重来重新校准输出特征x_out的通道。不同的是sa采用平均池化层来缩小特征图，没有像se那样全部挤压1*1*c。将此通道称为注意力卷积(aconv)通道。
66.可选的，预设ct图像目标检测模型的构建方法，包括：划分数据集为训练集和测试集，训练集和测试集内均包含多个标注好目标区域和目标区域类别的ct图像；根据训练集中的ct图像，训练设置了注意力机制模块的预设ct图像目标检测模型，得到初步预设ct图像目标检测模型；根据测试集中的ct图像，对初步预设ct图像目标检测模型进行测试和修正，得到目标预设ct图像目标检测模型，将目标预设ct图像目标检测模型作为预设ct图像目标检测模型。
67.例如，一次训练的输入图像数量可以为32幅；学习率初始化为10-3
之后每3
×
104次迭代后下降为原来的十分之一，直到迭代次数达到3
×
105为止。在测试阶段，对于每幅图像上给出的候选检测框，都根据它们的置信度进行排序。
68.本发明实施例提供的基于卷积神经网络的ct图像目标检测方法，通过获取目标患者的ct图像；将ct图像输入至预设ct图像目标检测模型中，得到ct图像中的目标区域及目标区域的类别。通过预先设置ct图像目标检测模型，在ct图像目标检测模型中设置注意力机制模块，对特征图中的不同通道分配不同的权重，提取特征图中的有用新型，提升ct图像的目标检测成功率。
69.为了对本发明实施例提供的技术方案进行验证说明，本发明实施例还提供一验证实施例。
70.例如，可以用于检测ct图像中的肺结节。
71.验证数据可以采用luna16公开数据集，该数据集包含600个病人，1186个结节。原始的ct图像格式(.mhd)被转换为jpg格式。一般的，ct图像中各种组织、器官的hu值(hounsfield unit value)如下表1所示。
72.表1 ct图像种部分组织器官的hu值列表
[0073][0074]
影像学上肺窗的窗宽取1500至2000hu，窗位取-600至-450hu，本技术中取(-1000,400)作为肺部特征采集区，这个范围可较好地保留胸部各组织器官的特征，此范围以内的值则由线性归一化的方法压缩至(0,255)之间，而此范围以外的值则视为背景，统一做归零处理，压缩后的图像如下图4所示。图4为本发明实施例提供的一种处理为jpg格式的ct图像示意图，其中，(a)为一切片处理为jpg格式的ct图像示意图，(b)为又一切片处理为jpg格式的ct图像示意图。
[0075]
利用本发明实施例中构建的预设ct图像目标检测模型对luna16数据集进行训练和测试，得到的结果如下表2所示，表2为本技术中预设ct图像目标检测模型添加了注意力模块sa后ssd及其子集的检测敏感度统计。
[0076]
表2添加了注意力模块sa后ssd及其子集的检测敏感度统计
[0077][0078]
参阅表2，在对luna16数据集进行训练和测试中，可以将数据集分成了十个子集，即子集0、子集1、子集2、子集3、子集4、子集5、子集6、子集7、子集8、子集9，每次训练与测试都选取任意不同的九个子集作为训练集，剩余一个子集作为测试集，进行训练和测试，总共进行十次训练与测试。表2中，subset0为子集0作为测试，子集1-9作为训练集得到的测试结果；subset1-subset9依此类推，最后ssd sa根据上述十个子集，求平均值得到的最终结果。通过表2可以看出，添加了注意力模块sa的预设ct图像目标检测模型，即ssd sa后的模型的检测灵敏度较高。
[0079]
实施例二：
[0080]
基于一个总的发明构思，本发明实施例还提供一种基于卷积神经网络的ct图像目标检测装置。
[0081]
图5为本发明实施例提供的一种基于卷积神经网络的ct图像目标检测装置的结构示意图，参阅图5，本发明实施例提供的基于卷积神经网络的ct图像目标检测装置，包括：获取模块51和检测模块52；
[0082]
获取模块，用于获取目标患者的ct图像；
[0083]
检测模块，用于将ct图像输入至预设ct图像目标检测模型中，得到ct图像中的目标区域及目标区域的类别。
[0084]
可选的，还包括，模型构建模块；模型构建模块，用于基于ssd模型，在ssd模型的特征输出层设置注意力机制模块；特征输出层用于输出特征图；注意力机制模块对特征图的不同通道分配不同的权重。
[0085]
可选的，模型构建模块，用于划分数据集为训练集和测试集，训练集和测试集内均包含多个标注好目标区域和目标区域类别的ct图像；根据训练集中的ct图像，训练设置了注意力机制模块的预设ct图像目标检测模型，得到初步预设ct图像目标检测模型；根据测试集中的ct图像，对初步预设ct图像目标检测模型进行测试和修正，得到目标预设ct图像目标检测模型，将目标预设ct图像目标检测模型作为预设ct图像目标检测模型。
[0086]
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0087]
本发明实施例提供的基于卷积神经网络的ct图像目标检测装置，通过获取目标患者的ct图像；将ct图像输入至预设ct图像目标检测模型中，得到ct图像中的目标区域及目标区域的类别。通过预先设置ct图像目标检测模型，在ct图像目标检测模型中设置注意力机制模块，对特征图中的不同通道分配不同的权重，提取特征图中的有用新型，提升ct图像的目标检测成功率。
[0088]
实施例三：
[0089]
基于一个总的发明构思，本发明实施例还提供一种基于卷积神经网络的ct图像目标检测设备。
[0090]
图6为本发明实施例提供的一种基于卷积神经网络的ct图像目标检测设备结构示意图，请参阅图6，本发明实施例提供的一种基于卷积神经网络的ct图像目标检测设备，包括：处理器61，以及与处理器相连接的存储器62。
[0091]
存储器62用于存储计算机程序，计算机程序至少用于上述任一实施例记载的基于卷积神经网络的ct图像目标检测方法；
[0092]
处理器61用于调用并执行存储器中的计算机程序。
[0093]
可选的，设备为ct扫描仪。
[0094]
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
[0095]
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
[0096]
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
[0097]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
[0098]
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述
实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0099]
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0100]
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
[0101]
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0102]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0103]
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。