本发明涉及人机交互和计算机视觉领域，更具体的说是涉及一种基于增量式学习的图像交互式分割方法。
背景技术：
1、交互式分割旨在以最少的用户输入分割目标类别，其在图像编辑和医学影像分析领域有着广泛的应用前景。近年来，随着数据驱动的深度学习技术的普及，一些领域对像素级标注的需求急剧增加，如显著性目标检测、语义分割、实例分割、伪装对象检测和视频处理。因此，越来越多的研究人员致力于探索高效的交互式分割技术来减轻标注成本。当前的交互式分割技术在训练阶段中一次性学习所有目标类别，并且在测试阶段没有新目标类别。然而，模型在现实应用中会一直遇到新目标类别，使得现有交互式分割技术无法应用于增量式学习设置。目前，基于增量式学习的图像交互式分割方法还没有被研究者们关注和探索。
2、基于增量式学习的图像交互式分割方法面临着如下两个挑战：图像交互式分割中用户交互效率低的问题和增量式学习过程中旧目标类别的遗忘问题。对于交互式分割，当前大多数方法不加选择地使用所有交互点来生成分割结果，但是并非所有交互点都具有相同的分割效果。第一次点击往往在交互式分割中起着重要的作用，其对提升交互式分割模型的性能十分重要。对于增量式学习，当前大多数增量式学习方法面临着对旧类别的遗忘问题，即模型参数拟合新知识而导致旧知识丢失。
3、现有的多前景目标图像交互式分割方法(周杰，胡瀚，冯建江，喻川.多前景目标图像交互式分割方法[p])只能交互式分割已学习过的类别，如果有新的目标类别出现，需要重新训练所有数据，不具备增量学习的能力。
技术实现思路
1、为了解决现有技术中存在的问题，本发明旨在研究设计出一种用于图像交互式分割的增量式学习方法，该方法构建一个基于增量式学习的图像交互式分割策略，提出的第一次点击损失以用户的第一次点击作为交互式分割的锚点，其可以更好地引导目标类别的位置和主体信息。一般点击损失考虑所有的用户点击以引导交互式分割模型进行更加准确地分割目标类别。除此之外，本发明提出的知识蒸馏损失能够保证不同增量式学习任务间类别语义关系的一致性。本发明能有效提高图像交互式分割中用户的交互效率并减少增量式学习过程中对旧类别的遗忘。
2、本发明至少通过如下技术方案之一实现。
3、一种基于增量式学习的图像交互式分割方法，包括以下步骤：
4、s1、获取图像分割数据流，根据任务将图像分割数据流划分为包含不重叠目标类别的多个训练数据集，每个任务只包含一个训练数据集，且每个的训练数据集中包含一个或多个目标类别；
5、s2、提供用户对于训练数据集图像中目标类别内的第一次点击和正面点击以及目标类别外的负面点击，分别生成基于第一次点击、正面点击和负面点击的距离地图和高斯地图；
6、s3、在第一个图像交互式分割任务中，学习第一个任务的训练数据集及基于用户点击的距离地图和高斯地图，以第一次点击损失和一般点击损失更新得到第一个任务的图像交互式分割模型；
7、s4、在下一个图像交互式分割任务中，将上一个任务学习得到的图像交互式分割模型视为旧模型，并使用旧模型初始化当前任务的图像交互式分割模型，学习当前任务的训练数据集及基于用户点击的距离地图和高斯地图，以第一次点击损失、一般点击损失和知识蒸馏损失更新得到当前任务的图像交互式分割模型；
8、s5、当存在未学过的图像交互式分割任务时，不断重复步骤s3，学习包含不重叠的新目标类别的训练数据集以更新图像交互式分割模型，直至学习完所有图像交互式分割任务的训练数据集，利用最终得到的图像交互式分割模型对图像进行交互式分割，得到交互式分割结果。
9、进一步地，步骤s1中，包含不重叠目标类别的图像分割数据流d包括m个图像交互式分割任务的训练数据集d＝{d1,d2,…,dm}，其中每个图像交互式分割任务包含一个训练数据集，第t个图像交互式分割任务对应训练数据集其中表示第t个训练数据集中第i个图像，代表相应的真实分割标签，|dt|代表训练数据集dt中样本的数量；基于增量式学习的图像交互式分割的目标是通过用户交互精准地分割之前学过的所有目标类别。
10、进一步地，步骤s2中，训练数据集中目标类别内的第一次点击为af，目标类别内的正面点击集合为ap，目标类别外的负面点击集合为an，所有点击集合为a，目标类别内的所有像素点集合为gp，目标类别外的所有像素点集合为gn，所有像素点集合为g；计算图像中像素点p到af距离得到第一次点击的距离地图，计算图像中像素点p到集合ap中点的最小距离得到正面点击的距离地图，计算图像中像素点p到集合an中点的最小距离得到负面点击的距离地图。
11、进一步地，步骤s2中，在距离地图的基础上应用高斯函数，柔化距离信息，得到高斯地图。
12、进一步地，步骤s3中，在第一个图像交互式分割任务中，第一次点击损失lf的计算公式为：
13、
14、其中：n表示所有像素点个数；g表示所有像素点集合；
15、二元交叉熵损失lp的计算公式为：
16、
17、其中：表示当前交互式分割模型对第一个训练数据集中第i个图像的第p个像素点的预测值，表示第一个训练数据集中第i个图像的第p个像素点的真实标签；
18、第一次点击的加权权重的计算公式为：
19、
20、其中α、β为常数；
21、像素点p距离第一次点击af的距离ψ(p,{af})的计算公式为：
22、
23、其中，τ为常数；
24、像素点p距离第一次点击af中点的最小距离φ(p,af)的计算公式为：
25、
26、其中：d(p,ps)表示点p距离点ps的欧几里得距离。
27、进一步地，步骤s3中，在第一个图像交互式分割任务中，一般点击损失lg的计算公式为：
28、
29、其中n表示所有像素点个数，g表示所有像素点集合；lp表示二元交叉熵损失；
30、一般点击的加权权重的计算公式为：
31、
32、其中α、β为常数；像素点p距离集合ap和an的距离ψ(p,ap)和ψ(p,an)的计算公式分别为：
33、
34、
35、其中，τ为常数；像素点p距离集合ap和an中点的最小距离φ(p,ap)和φ(p,an)的计算公式分别为：
36、
37、
38、ps表示正面点击集合ap或负面点击集合an中的任意点。
39、进一步地，步骤s4中，在下一个图像交互式分割任务中，第一次点击损失lf的计算公式为：
40、
41、其中n表示所有像素点个数，g表示所有像素点集合；lp表示二元交叉熵损失；
42、二元交叉熵损失lp的计算公式为：
43、
44、其中：表示当前交互式分割模型对第t个训练数据集中第i个图像的第p个像素点的预测值，表示第t个训练数据集中第i个图像的第p个像素点的真实标签；
45、第一次点击的加权权重的计算公式为：
46、
47、其中α、β为常数，像素点p距离第一次点击af的距离ψ(p,{af})的计算公式为：
48、
49、其中，τ为常数。
50、进一步地，步骤s4中，在下一个图像交互式分割任务中，一般点击损失lg的计算公式为：
51、
52、一般点击的加权权重的计算公式为：
53、
54、像素点p距离集合ap和an的距离ψ(p,ap)和ψ(p,an)的计算公式分别为：
55、
56、
57、像素点p距离集合ap和an中点的最小距离φ(p,ap)和φ(p,an)的计算公式分别为：
58、
59、
60、其中d(p,ps)表示点p距离点ps的欧几里得距离。
61、进一步地，步骤s4中，在下一个图像交互式分割任务中，知识蒸馏损失ld的计算公式为：
62、
63、其中：表示旧模型对第t个训练数据集中第i个图像的第p个像素点的预测值，kl(·||·)表示kullback-leibler散度。
64、进一步地，当存在未学习过步骤s1中划分的多个图像交互式分割的训练数据集时，继续按照步骤s4学习包含不重叠的新目标类别的训练数据集以更新图像交互式分割模型，直至学习完所有图像交互式分割的训练数据集，利用最终得到的图像交互式分割模型对之前学过的所有目标类别进行交互式分割，得到交互式分割结果。
65、相对于现有技术而言，本发明的有益效果如下：
66、与传统的交互式语义分割方法相比，本发明提供的一种用于图像交互式分割方法的增量式学习方法，能提高图像交互式分割中用户的交互效率并减少增量式学习过程中对旧类别的遗忘，并且实现简单。
1.一种基于增量式学习的图像交互式分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于增量式学习的图像交互式分割方法，其特征在于，步骤s1中，包含不重叠目标类别的图像分割数据流d包括m个图像交互式分割任务的训练数据集d＝{d1,d2,…,dm}，其中每个图像交互式分割任务包含一个训练数据集，第t个图像交互式分割任务对应训练数据集其中表示第t个训练数据集中第i个图像，代表相应的真实分割标签，|dt|代表训练数据集dt中样本的数量；基于增量式学习的图像交互式分割的目标是通过用户交互精准地分割之前学过的所有目标类别。
3.根据权利要求1所述的一种基于增量式学习的图像交互式分割方法，其特征在于，步骤s2中，训练数据集中目标类别内的第一次点击为af，目标类别内的正面点击集合为ap，目标类别外的负面点击集合为an，所有点击集合为a，目标类别内的所有像素点集合为gp，目标类别外的所有像素点集合为gn，所有像素点集合为g；计算图像中像素点p到af距离得到第一次点击的距离地图，计算图像中像素点p到集合ap中点的最小距离得到正面点击的距离地图，计算图像中像素点p到集合an中点的最小距离得到负面点击的距离地图。
4.根据权利要求1所述的一种基于增量式学习的图像交互式分割方法，其特征在于，步骤s2中，在距离地图的基础上应用高斯函数，柔化距离信息，得到高斯地图。
5.根据权利要求1所述的一种基于增量式学习的图像交互式分割方法，其特征在于，步骤s3中，在第一个图像交互式分割任务中，第一次点击损失lf的计算公式为：
6.根据权利要求1所述的一种基于增量式学习的图像交互式分割方法，其特征在于，
7.根据权利要求1所述的一种基于增量式学习的图像交互式分割方法，其特征在于，步骤s4中，在下一个图像交互式分割任务中，第一次点击损失lf的计算公式为：
8.根据权利要求7所述的一种基于增量式学习的图像交互式分割方法，其特征在于，
9.根据权利要求8所述的一种基于增量式学习的图像交互式分割方法，其特征在于，
10.根据权利要求1～9任一项所述的一种基于增量式学习的图像交互式分割方法，其特征在于，当存在未学习过步骤s1中划分的多个图像交互式分割的训练数据集时，继续按照步骤s4学习包含不重叠的新目标类别的训练数据集以更新图像交互式分割模型，直至学习完所有图像交互式分割的训练数据集，利用最终得到的图像交互式分割模型对之前学过的所有目标类别进行交互式分割，得到交互式分割结果。
