一种形状先验缺失的图像半监督分割方法及系统与流程

1.本发明属于图像分割处理技术领域，尤其涉及一种形状先验缺失的图像半监督分割方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.近年来，随着人工智能技术的飞速发展，基于深度学习的方法在诸如图像分类、目标检测和语义分割等领域都取得了巨大的成功。其中的语义分割任务旨在为图像中的每个像素分配一个语义标签，其对于自动驾驶、计算机辅助诊断、虚拟现实和图像编辑等各种具有挑战性的应用至关重要。
4.目前，虽然一些基于深度学习的全监督方法在语义分割任务上取得了显著的进步，但它们通常需要大量的训练数据。与图像分类和目标检测不同，语义分割需要对每张训练图像进行准确的逐像素标注，这无疑会花费大量的费用和时间。值得注意的是，在一些特殊的领域，例如医学图像领域，由于图像的数量较少且通常需要大量的专业知识才能完成标注，因此大量存在的图像中只有少量被良好地标记，这无疑增大了图像分割在该领域的难度。另外，由于一些被分割对象通常具有较小的尺寸，例如城市图像中远处的车辆和红绿灯，以及缺少对形状的先验知识，例如医学图像中的胰腺器官，其通常具有较高的解剖学变异性，那么如何充分挖掘图像中的潜在有用信息并提取有用的特征来提升图像的分割精度显得至关重要。


技术实现要素：

5.为克服上述现有技术的不足，本发明提供了一种形状先验缺失的图像半监督分割方法，可以进一步提升分割算法的精度。
6.为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
7.第一方面，公开了一种形状先验缺失的图像半监督分割方法，包括：
8.针对形状先验缺失的图像，获得候选区域；
9.基于上述候选区域，利用分割网络捕获分割目标的长距离依赖，同时，捕获有利于边界分割的短距离依赖，利用长距离依赖及短距离依赖输出对候选区域非本地语义上下文聚合；
10.针对候选区域非本地语义上下文聚合结果，对形状几何先验敏感的半监督对抗学习：使用评估网络通过半监督对抗学习的方式对无标签数据的潜在有用信息进行挖掘，以激励分割网络输出精确的分割结果。
11.进一步的技术方案，获得候选区域时，通过调整区域推荐网络的原始编码坐标，以构造对面积敏感的区域推荐网络来生成候选区域。
12.进一步的技术方案，调整区域推荐网络的原始编码坐标时，基于动态调整参数、边
界框的宽度和高度来对输入分割目标的面积进行调整。
13.进一步的技术方案，分割网络通过引入图像空间分辨率的比例调节因子修正注意力机制的计算流程。
14.进一步的技术方案，分割网络中，针对候选区域，基于希尔伯特空间填充曲线获得一维序列化后的图像块，利用一组lstm模块对其进行建模以捕获有利于边界分割的短距离依赖。
15.进一步的技术方案，基于有标签数据的分割约束和形状约束sdm，使an通过半监督对抗学习的方式对无标签数据的潜在有用信息进行挖掘。
16.进一步的技术方案，对形状几何先验敏感的半监督对抗学习，具体为：
17.形状约束sdm用于描述从每个点到对象边界的距离信息；
18.通过将分割损失、sdm损失和评估损失进行结合，构造多任务半监督混合损失函数；
19.对多任务损失的分割损失，构造基于dice损失和α平衡的focal损失来使模型更好地学习形状先验缺失的目标与其上下文信息之间的差异；
20.定义多任务损失的sdm损失，对评估损失使用二元交叉熵损失来对其进行优化。
21.进一步的技术方案，基于半监督对抗学习来实现对多任务网络sn(segmentation network，sn)和评估网络an(assessment network，an)的交替训练；
22.经过一定的训练次数或者sn的分割精度达到一定的阈值，半监督对抗训练终止。
23.第二方面，公开了一种形状先验缺失的图像分割系统，包括：
24.候选区域获取模块，被配置为：针对形状先验缺失的图像，获得候选区域；
25.非本地语义上下文聚合模块，被配置为：基于上述候选区域，利用分割网络捕获分割目标的长距离依赖，同时，捕获有利于边界分割的短距离依赖，利用长距离依赖及短距离依赖输出对候选区域非本地语义上下文聚合；
26.半监督对抗学习模块，被配置为：针对候选区域非本地语义上下文聚合结果，对形状几何先验敏感的半监督对抗学习：使用评估网络通过半监督对抗学习的方式对无标签数据的潜在有用信息进行挖掘，以激励分割网络输出精确的分割结果。
27.以上一个或多个技术方案存在以下有益效果：
28.本发明提出的基于半监督对抗学习的形状先验缺失的图像分割对比之前的方法，在图像自动分割方面有优异表现。
29.首先，本发明将半监督对抗学习用于形状先验缺失的目标自动分割领域的框架。其次，本发明构造了一个鲁棒的非本地上下文聚合模块，该模块不但可以同时对长距离和短距离依赖关系进行捕获以增强特征表示能力，还可以方便地应用于其他图像分割任务。最后，本发明构造了一种对形状几何先验敏感的半监督对抗学习模块，该模块可以对无标记图像的潜在有用信息进行挖掘，并有效减少对大规模标记图像的需求。
30.本发明能有效解决图像中有标签数据量较少、无标签数据量较多和一些潜在有效信息未被充分挖掘和利用的问题。
31.本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
32.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
33.图1为本发明提供的一种基于半监督对抗学习的形状先验缺失的图像分割算法实现形状先验缺失的目标自动分割的网络学习流程示意图；
34.图2为本发明提供的形状先验缺失的图像分割系统模型框架示意图。
具体实施方式
35.应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
36.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。
37.在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
38.针对图像的语义分割任务所面临的上述现实问题，如果直接应用大数据驱动的全监督算法来说，显然不是最优的方法。而基于对抗学习的半监督学习算法能更好地应对以上挑战。半监督学习旨在从有限数量的标记数据和任意数量的未标记数据中学习，并且其效果在一定条件下可以与全监督算法相媲美。而借助对抗学习则可以充分挖掘未标记图像中包含的一些对模型的训练过程有益的潜在信息，例如形状先验约束，可以进一步提升分割算法的精度，因此，对不需要大量标记图像但仍可以实现竞争性能的分割模型得到进一步的发展。
39.半监督学习是一个基本的、具有挑战性的问题，旨在从有限数量的标记数据和任意数量的未标记数据中学习，并且学习效果在一定条件下可以与全监督算法相媲美。这无疑对实际的临床应用具有很大的影响。特别地，基于对抗学习的半监督学习方法凭借其强大的特征表达能力以及泛化能力受到了越来越多的关注，是目前比较火热的研究方向之一。
40.实施例一
41.如图1所示，本发明实施例中的一种基于半监督对抗学习的形状先验缺失的图像分割算法实现形状先验缺失的目标自动分割的网络学习过程，包括如下步骤：
42.步骤(1)：构造对面积敏感的定位算法：基于改进的区域推荐网络来实现对面积感知的定位算法来解决形状先验缺失数据集的类别不均衡问题。然后，基于对该数据集的统计获得大小一致的已处理数据作为后续分割网络的输入；
43.步骤(2):构造基于平滑扩张卷积的自动编码器模块：通过对数据集的统计，基于平滑扩张卷积来自适应地提取分割目标的特征；
44.基于最佳感受野提取当前分割目标的特征，在降低模型的计算复杂度的同时，有效解决由传统扩张卷积所引起的“网格效应”；
45.构造非本地语义上下文聚合模块：首先，将上述提取到的分割目标特征作为输入，并基于改进的空间注意力机制在学习输入特征长依赖关系的同时有效降低模型的计算复杂度；同时，基于希尔伯特空间填充曲线来学习输入特征分块间的短依赖关系；其次，基于
聚合模块将上述两种依赖关系融合为增强后的特征作为输出，使sn能同时对分割目标的长依赖和短依赖关系进行建模；
46.步骤(3):构造对形状几何先验敏感的半监督对抗学习模块：首先，提取分割目标的形状几何先验信息，并将融合几何先验信息的有标签数据和无标签数据的分割结果作为输入；其次，基于半监督对抗学习进行迭代训练，既先基于an对融合几何先验信息的有标签数据和无标签数据的分割结果进行分辨，再基于sn输出新的分割预测和sdm预测，并获得新的有标签数据和无标签数据的融合数据；最后，半监督对抗网络停止迭代并达到纳什均衡状态，此时sn网络的输出可作为最终分割预测结果。
47.计算多任务分割网络损失：首先，计算dice损失和α平衡的focal损失，将其进行加权作为分割损失；其次，计算有符号距离场(signed distance map，sdm)损失；最后，将分割损失和sdm损失的加权和作为多任务学习网络sn的总损失；
48.计算评估网络损失：计算二进制交叉熵损失来对有标签图像和无标签图像的分割结果进行评估，以实现半监督对抗训练；
49.步骤(4)：网络训练：首先，随机初始化多任务学习网络sn的参数，训练an，使其能够对有标签图像和无标签图像的分割结果进行区分；其次，冻结an的参数训练sn，使其获得足以以假乱真的分割结果来欺骗an，同时获得sdm预测结果；最后，经过一定回合的迭代训练，当an不能对有标签图像和无标签图像的分割结果进行分辨的时候，训练停止并保存网络模型；
50.步骤(5)：网络预测：忽略an，直接利用训练好的sn来对输入图像数据进行预测得到分割结果。
51.具体的步骤为：
52.上述步骤(1)中：构造对面积敏感的定位算法
53.首先，通过调整区域推荐网络的原始编码坐标，以构造对面积敏感的区域推荐网络来生成具有近100％召回率的候选区域(前景和背景比例约1：3)以降低分割数据集所面临的类别不均衡问题，区域推荐网络以原始图像为输入，输出粗略定位以后的候选图像用以提升后续sn的分割精度，具体来看，动态面积调整公式如下：
[0054][0055]
其中，η为动态调整参数，w和h分别表示边界框的宽度和高度，s表示输入分割目标的面积，可以用其像素数来近似。
[0056]
因此，基于η的边界框的修改编码坐标满足下式：
[0057][0058][0059]
其中x、y、w和h分别表示边界框的中心坐标、宽度和高度。x
a
、y
a
、w
a
和h
a
分别表示锚
点的中心坐标、宽度和高度。
[0060]
最后，应用非极大值抑制得到概率最大的候选区域，插值以后作为后续sn的输入。
[0061]
上述步骤(2):构造非本地语义上下文聚合模块
[0062]
由于语义分割任务通常需要较大的空间分辨率来维护图像的详细信息，因此较大的矩阵乘法是传统空间注意机制计算复杂度较高的主要原因。传统空间注意力机制的计算流程可以表示为下式：
[0063][0064]
为了降低空间注意力机制计算复杂度，首先，将此步骤的输入特征的像素数看作n，本发明通过低秩重建的思想将n个空间像素映射到k个关键因子的再重建回n个空间像素的方式来捕获分割目标的长距离依赖，其中k远小于n。通过引入图像空间分辨率的比例调节因子s，新的注意力机制的计算流程被更改为下式：
[0065][0066]
其次，为了获得分割目标更加精确的边界分割结果，本发明基于希尔伯特空间填充曲线获得一维序列化后的图像块，利用一组lstm模块对其进行建模以捕获有利于边界分割的短距离依赖。
[0067]
需要说明的是，上述步骤是对上一步的输入特征进行处理，因此此步和上一步两步是并行的。
[0068]
最后，通过将长距离依赖和短距离依赖进行融合以获得增强后的特征作为输出。
[0069]
上述步骤(3):构造对形状几何先验敏感的半监督对抗学习模块
[0070]
为了对分割目标的形状信息进行建模，本发明基于有标签数据的分割约束和形状约束sdm(有符号距离场(signed distance map，sdm))，使an通过半监督对抗学习的方式对无标签数据的潜在有用信息进行充分挖掘，以激励sn获得更加精确的分割结果。
[0071]
上述原始数据集是有标签的，对发明来说，将有标签数据划分为训练集和测试集，并假设在训练阶段训练集和测试集的标签分别是可见和不可见的，而在测试阶段，测试集的标签是可见的。
[0072]
步骤(3
‑
1)：形状约束sdm可用于描述从每个点到对象边界的距离信息，其gt(金标准，(ground truth，gt))可以通过下式进行描述：
[0073][0074]
其中x和y分别代表输入图像及其对应目标的边界。g
in
、g
out
和分别代表目标的外部，内部和边界。
[0075]
步骤(3
‑
2)：通过将分割损失sdm损失和评估损失进行结合，构造多任务半监督混合损失函数，其被定义如下：
[0076][0077]
其中s
p
(x)和z
p
(x)分别代表多任务网络sn的分割头部和sdm头部。θ
s
和θ
a
分别代表sn网络和an网络的训练参数。λ用来平衡分割损失和对抗损失的重要性，且被初始化为1。
[0078]
步骤(3
‑
3)：对步骤(3
‑
2)的多任务损失的分割损失来说，构造基于dice损失和α平衡的focal损失来促使模型更好地学习形状先验缺失的目标与其上下文信息之间的差异，其被定义如下：
[0079][0080]
具体来看，dice损失被重新设计并被定义如下：
[0081][0082]
其中h和w分别代表输入图像的宽度和高度，y
ci
和分别代表分割gt和预测结果，c代表类别数目。
[0083]
α平衡的focal损失则被定义如下：
[0084][0085]
其中α和γ分别用来控制每一个类别和困难分割样本的比重。
[0086]
步骤(3
‑
4)：对步骤(3
‑
2)的多任务损失的sdm损失来说，为了使模型能够充分挖掘有标签数据和无标签数据的潜在有用信息以获得更加合理的分割结果，其被定义如下：
[0087][0088]
其中z
ci
代表sdm的gt，代表sdm的预测值。
[0089]
步骤(3
‑
5)：对步骤(3
‑
2)的评估损失来说，本发明使用二元交叉熵损失来对其进行优化，其被定义如下：
[0090][0091]
其中y代表输入图像的gt(无标签图像和有标签图像的分割结果分别是0和1)，代表评估网络an的预测结果(常量)。
[0092]
上述步骤(4)中：网络训练
[0093]
本发明基于半监督对抗学习来实现对多任务网络sn和评估网络an的交替训练。
[0094]
步骤(4
‑
1)：对an的优化通过以下公式进行：
[0095][0096]
通过这一步迭代训练，an能够对有标签和无标签图像的分割结果进行准确评估。
[0097]
步骤(4
‑
2)：对sn的优化通过以下公式进行：
[0098][0099]
为了给an在评估分割质量时提供更强的梯度信号以减少网络收敛时间，上式可改写为如下形式：
[0100][0101]
其中y
m
是经过独热编码后由0和1组成的向量，分割目标类别为1，背景类别为0。
[0102]
通过这一步迭代训练，sn的预测结果将会对an产生欺骗，使其不能对有标签和无标签图像的分割结果进行准确评估。
[0103]
经过一定的训练次数或者sn的分割精度达到一定的阈值，半监督对抗训练终止。
[0104]
上述步骤(5)中：网络预测：
[0105]
输入待测试的图像数据进入已训练好的多任务网络sn并得到预测结果。
[0106]
如图2所示，对整个基于半监督对抗学习的形状先验缺失的图像分割系统模型框架做解释说明。
[0107]
图2中所对应的虚线框内系统为主要执行形状先验缺失的图像分割功能的系统模块，主要过程对应于步骤(2)和(3)中的过程。用户输入待测试图像数据(候选区域)进入分割系统，系统内部自动进行编码器非本地特征增强、融合形状先验信息的半监督对抗学习两个过程，最后sn输出形状先验缺失的图像分割结果与用户进行交互。
[0108]
在测试交互阶段，首先，sn只需输出分割预测结果，并不输出sdm预测结果。sdm的
相关运算只参与网络的训练，即只在网络的对抗训练中引入无标签图像的几何先验知识以提升sn的分割精度；另外，在此阶段，an不参与任何运算，因此其不会对网络预测引入额外的计算复杂度。
[0109]
在该实施例子中，上述方法主要利用的技术为：分割网络(segmentation network，sn)和评估网络(assessment network，an)。
[0110]
其中sn主要由两个模块组成：一个基于平滑扩张卷积自动编码器，它不仅有助于消除由广泛使用的扩张卷积而引起的所谓的网格化伪影，而且还可以在不引入额外计算量的情况下引入更大的感受野；一个非本地语义上下文聚合模块，它不仅可以捕获空间维度上的远程上下文依赖性，而且还可以通过聚合丰富的上下文信息来增强相邻图像块之间的空间相关性。
[0111]
在一实施例子中，an则由一个对形状几何先验敏感的半监督对抗模块构成，其通过对抗学习的方式将胰腺器官的形状几何先验融入网络的训练过程，能够充分利用和挖掘未标记图像的潜在有用信息来评估sn的分割质量，这使本发明具有了鲁棒的对抗学习能力，可以为未标记胰腺图像产生精确的分割预测。
[0112]
实施例二
[0113]
本实施例的目的是提供一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。
[0114]
实施例三
[0115]
本实施例的目的是提供一种计算机可读存储介质。
[0116]
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行上述方法的步骤。
[0117]
实施例四
[0118]
本实施例的目的是提供一种形状先验缺失的图像分割系统，包括：
[0119]
候选区域获取模块，被配置为：针对形状先验缺失的图像，获得候选区域；
[0120]
非本地语义上下文聚合模块，被配置为：基于上述候选区域，利用分割网络将n个空间像素映射到k个关键因子的再重建回n个空间像素的方式来捕获分割目标的长距离依赖，其中k远小于n，同时，捕获有利于边界分割的短距离依赖，利用长距离依赖及短距离依赖输出对候选区域非本地语义上下文聚合；
[0121]
半监督对抗学习模块，被配置为：针对候选区域非本地语义上下文聚合结果，对形状几何先验敏感的半监督对抗学习：使用评估网络通过半监督对抗学习的方式对无标签数据的潜在有用信息进行挖掘，以激励分割网络输出精确的分割结果。
[0122]
以上实施例二、三和四的装置中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
[0123]
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和
软件的结合。
[0124]
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。