本申请涉及数字病理学,尤其涉及一种基于双染数字病理图像的图像标注方法和图像标注设备。
背景技术:
1、在对数字病理图像进行处理的过程中,通常会利用洗脱重染的技术获取he染色和ihc染色的图像,但是,重新进行的ihc染色通常是单免疫组化染色。基于单免疫组化染色的数字病理图像仅能得到一个生物标记物的掩膜,无法同时得到两个或多个生物标记物的掩膜,如此不能满足实际需求。
技术实现思路
1、有鉴于此,本申请的目的在于提出一种基于双染数字病理图像的图像标注方法和图像标注设备。
2、基于上述目的,本申请第一方面提供了一种基于双染数字病理图像的图像标注方法,包括:
3、获取采用第一染色剂染色的组织样本的第一原始图像;
4、获取采用第二染色剂染色的组织样本的第二原始图像,所述第二染色剂与所述第一染色剂不同,所述第二染色剂至少包括第一特定染色剂和第二特定染色剂,所述第一特定染色剂用于标记第一标记物,所述第二特定染色剂用于标记第二标记物;
5、基于所述第一原始图像、所述第二原始图像和获取的错误标注,确定第一标记物的掩膜的第一标注和第二标记物的掩膜的第二标注;
6、将所述第一标注和第二标注转移到所述第一原始图像中,得到所述第一原始图像的最终标注。
7、可选地,所述基于所述第一原始图像、所述第二原始图像和获取的错误标注,确定第一标记物的掩膜的第一标注和第二标记物的掩膜的第二标注,包括:
8、基于所述第一原始图像和所述第二原始图像,确定第一标记物的掩膜的第一初始标注和第二标记物的掩膜的第二初始标注;
9、获取错误标注,去除所述第一初始标注和第二初始标注中的错误标注,得到所述第一标注和所述第二标注。
10、可选地,所述基于所述第一原始图像和所述第二原始图像,确定第一标记物的掩膜的第一初始标注和第二标记物的掩膜的第二初始标注,包括:
11、将第一原始图像和第二原始图像进行第一次配准,得到第一配准图像和第二配准图像;
12、获取第一配准图像的全切片组织样本掩膜;
13、分别确定所述全切片组织样本掩膜和所述第二配准图像的感兴趣区域;
14、基于所述感兴趣区域,确定第一标记物的掩膜的第一初始标注和第二标记物的掩膜的第二初始标注。
15、可选地,所述分别确定所述全切片组织样本掩膜和所述第二配准图像的感兴趣区域,包括:
16、对所述全切片组织样本掩膜进行图片块裁剪得到多个第一图像块;
17、对所述第二配准图像进行图片块裁剪得到多个第二图像块;
18、确定所述多个第一图像块和多个第二图像块中具有相同坐标的相同图像块;
19、将所述相同图像块中的第一图像块的集合确定为所述全切片组织样本掩膜的感兴趣区域,将所述相同图像块中的第二图像块的集合确定为所述第二配准图像的感兴趣区域。
20、可选地,所述基于所述感兴趣区域,确定第一标记物的掩膜的第一初始标注和第二标记物的掩膜的第二初始标注,包括:
21、将所述全切片组织样本掩膜的感兴趣区域和所述第二配准图像的感兴趣区域进行第二次配准,得到第三配准图像和第四配准图像;
22、基于所述第四配准图像,确定第一标记物的掩膜的第一初始标注和第二标记物的掩膜的第二初始标注。
23、可选地,所述基于所述第四配准图像,确定第一标记物的掩膜的第一初始标注和第二标记物的掩膜的第二初始标注,包括:
24、获取所述第四配准图像的多通道灰度图,所述多通道灰度图至少包括第一特定染色剂通道灰度图和第二特定染色剂通道灰度图;
25、基于所述第一特定染色剂通道灰度图,确定第一标记物的掩膜的第一初始标注;
26、基于所述第二特定染色剂通道灰度图,确定第二标记物的掩膜的第二初始标注。
27、可选地,所述基于所述第二特定染色剂通道灰度图,确定第二标记物的掩膜的第二初始标注,包括:
28、基于所述第二特定染色剂通道灰度图,确定第二标记物的初始掩膜;
29、确定所述第四配准图像中所有细胞的边界;
30、基于所述初始掩膜和所述所有细胞的边界,将所述初始掩膜对应的细胞边界确定为第二标记物的掩膜的第二初始标注。
31、可选地,所述基于所述第一特定染色剂通道灰度图,确定第一标记物的掩膜的第一初始标注,包括:将所述第一特定染色剂通道灰度图输入训练后的第一模型中,得到第一标记物的掩膜的第一初始标注;
32、所述确定所述第四配准图像中所有细胞的边界,包括:将所述第四配准图像输入训练后的第二模型中,得到所述第四配准图像中所有细胞的边界。
33、可选地,所述第一标记物为细胞角蛋白ck,所述第二标记物为肌上皮细胞p63,所述第一模型为上皮组织语义分割模型,所述第二模型为肌上皮细胞检测模型。
34、基于同一发明构思,本申请第二方面提供了一种图像标注设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述第一方面任意一项所述的方法。
35、从上面所述可以看出,本申请提供的基于双染数字病理图像的图像标注方法和图像标注设备,基于采用第一染色剂染色的组织样本的第一原始图像和采用第二染色剂染色的组织样本的第二原始图像以及获取的错误标注,可以得到第一标记物的掩膜的第一标注和第二标记物掩膜的第二标注,并将第一标注和第二标注转移到第一原始图像中得到最终标注,即仅通过一次组织样本的染色、洗脱和重新染色就可以在第一原始图像中得到包括两种标记物掩膜的标注,既可以同时对两种标记物进行分析,满足了实际需求,又无需对同样的组织样本进行多次染色、洗脱和重新染色的重复操作,提升了掩膜标注的准确性;同时在确定第一标注和第二标注时引入了错误标注,可以降低完全自动标注造成的噪声问题,进一步提升标注的准确性。
1.一种基于双染数字病理图像的图像标注方法,其特征在于,包括:
2.根据权利要求1所述的图像标注方法,其特征在于,所述基于所述第一原始图像、所述第二原始图像和获取的错误标注,确定第一标记物的掩膜的第一标注和第二标记物的掩膜的第二标注,包括:
3.根据权利要求2所述的图像标注方法,其特征在于,所述基于所述第一原始图像和所述第二原始图像,确定第一标记物的掩膜的第一初始标注和第二标记物的掩膜的第二初始标注,包括:
4.根据权利要求3所述的图像标注方法,其特征在于,所述分别确定所述全切片组织样本掩膜和所述第二配准图像的感兴趣区域,包括:
5.根据权利要求3所述的图像标注方法,其特征在于,所述基于所述感兴趣区域,确定第一标记物的掩膜的第一初始标注和第二标记物的掩膜的第二初始标注,包括:
6.根据权利要求5所述的图像标注方法,其特征在于,所述基于所述第四配准图像,确定第一标记物的掩膜的第一初始标注和第二标记物的掩膜的第二初始标注,包括:
7.根据权利要求6所述的图像标注方法,其特征在于,所述基于所述第二特定染色剂通道灰度图,确定第二标记物的掩膜的第二初始标注,包括:
8.根据权利要求7所述的图像标注方法,其特征在于,基于所述第一特定染色剂通道灰度图,确定第一标记物的掩膜的第一初始标注,包括:将所述第一特定染色剂通道灰度图输入训练后的第一模型中,得到第一标记物的掩膜的第一初始标注;
9.根据权利要求8所述的图像标注方法,其特征在于,所述第一标记物为细胞角蛋白ck,所述第二标记物为肌上皮细胞p63,所述第一模型为上皮组织语义分割模型,所述第二模型为肌上皮细胞检测模型。
10.一种图像标注设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至9任意一项所述的方法。
