本技术涉及肝纤维化分析预测领域,具体涉及一种肝纤维化分期预测模型的处理方法、装置及处理设备。
背景技术:
1、肝组织病理学检查是目前肝纤维化分期诊断的“金标准”,但传统的人工诊断方式存在效率有限、主观性强和病理医生数量有限等局限性,而随着切片数字化成像技术的推广和计算机视觉技术的发展,图像分析算法已经成为肝纤维化分期诊断的重要工具,这些算法能更高效和客观地进行纤维化分期诊断,有效地克服了传统人工诊断的局限性,为肝纤维化分期诊断提供了新的途径。胶原面积比例(collagen proportionate area,cpa)测定和传统机器学习算法是目前常用的基于图像分析的肝纤维化分期诊断方法。
2、cpa测定法是一种用于量化胶原纤维组织沉积程度的形态学测定方法,相对易于操作和推广,但易受多种因素影响,并且诊断准确度有限;传统机器学习算法具有较高的诊断准确度,但需要领域专家设计并提取手工特征作为模型输入,不仅会耗费大量时间和人力,而且存在手工特征主观性强和表达能力有限的问题。因此,肝纤维化分期诊断亟需引入更高效、精准和自动化的图像分析方法。
3、其中,深度学习是机器学习的一个研究分支,它通过自动特征提取克服了手工特征的局限性,减轻了研究人员工作负担并提升了模型性能。研究证明,深度学习算法在肝纤维化分期诊断任务上的性能表现与传统机器学习算法相当。虽然深度学习具有巨大潜力,但在目前的肝纤维化分期诊断上,该方法的应用仍处于起步阶段,具有一定的局限性,有待进一步探索和优化。
4、深度学习是机器学习领域近年来的研究热点,已在病理诊断领域取得了一定的成果。深度学习算法能够自动从输入数据中学习和提取有效特征,突破了传统机器学习算法需要手工设计和提取特征的局限性。这种自动化特征提取方式不仅极大地减轻了研究者的负担,而且能更好地捕捉数据的潜在规律和复杂特性,进而实现更精确的预测。
5、全视野数字切片(whole slide image,wsi)是目前深度学习在病理诊断领域的研究中不可或缺的数据类型之一,目前已经越来越多地被应用于肝病诊断任务中。wsi是由传统玻璃切片通过数字扫描得到的高分辨率数字图像,能提供比传统切片成像数据更丰富的组织细节(例如色彩、对比度和纹理等),甚至还包括人眼难以识别的潜在信息。深度学习算法能够自动挖掘这些复杂特征和潜在模式,提供比传统图像分析算法更准确和客观的诊断结果。因此在病理学领域,wsi的推广为深度学习的应用提供了更多发展空间。
6、现有研究证明了深度学习方法在肝纤维化评估任务上的可行性和潜力。但目前,深度学习在肝纤维化诊断的应用仍处于起步阶段,相关研究有限,并且存在一定的局限性,例如精准分期多依赖于shg/tpef技术或胶原蛋白特殊染色处理的切片图像、需要人工像素级精确标注,有待进一步完善。
7、而本技术发明人发现在针对wsi来配置执行肝组织分期诊断工作的深度学习模型时发现,主要存在以下两个问题:
8、(1)数据量小。深度学习模型的开发通常需要高质量的大规模标注数据,但wsi的收集和标注的难度和成本较高,这使得构建大规模、注释良好的wsi数据集变得十分困难,数据量的不足会增加模型过拟合风险,即过度关注训练集的噪声或局部特征而忽略数据整体特征,导致模型泛化能力下降,此外,数据量的不足还可能影响训练过程的稳定性,难以得到最优解;
9、(2)苏木精-伊红(hematoxylin-eosin,he)染色的wsi数据集中存在大量会对模型造成干扰的无关组织信息,但用于排除干扰的像素级标注成本高昂且具有一定挑战性。wsi中包含大量与诊断无关的组织学细节,在h&e染色下,这些与诊断无关的组织通常与胶原纤维组织的颜色相近,会干扰深度学习模型对胶原纤维组织的识别。为了避免这些无关组织信息对模型的干扰,往往需要经验丰富的病理医生对诊断相关组织区域进行精细勾勒或框选,为模型提供像素级标注,但这种标注方式很显然是一项非常繁琐的工作,给研究人员带来了沉重的负担。此外,对h&e染色的胶原纤维组织进行人工像素级标注是一项极具挑战性的工作。一方面,胶原纤维组织形态复杂多样、分布广泛且不均匀,这增加了精确标注的难度;另一方面,由于h&e染色的胶原纤维组织和周围非胶原组织之间的对比度有限,人眼可能难以清晰地识别胶原纤维组织的细节和边界,将会影响标注的准确性和一致性。一些研究建议将wsi切分为多张patch,采用无需像素级标注的多示例学习(multiple instancelearning,mil)方法进行模型开发,但与具有像素级标注的强监督学习相比,弱监督学习通常需要更多的训练wsi数据集才能达到相同的模型性能。
10、简而言之,针对wsi来配置执行肝组织分期诊断工作的深度学习模型时,配置标注好的wsi数据集,需要大量的人工成本,显然这会影响到实际价值,并且还可能会因为wsi数据集不足而导致较低的模型处理精度。
技术实现思路
1、本技术提供了一种肝纤维化分期预测模型的处理方法、装置及处理设备,用于以融合he染色得到的第一wsi数据和masson染色得到的第二wsi数据为基础,并结合双层的自动标注架构,如此高精度且低成本地完成wsi数据集的配置,有助于在实际应用中高精度且低成本地完成模型训练,获得性能较佳的肝纤维化分期预测模型。
2、第一方面,本技术提供了一种肝纤维化分期预测模型的处理方法,其特征在于,方法包括:
3、获取由肝组织样本的连续性切片通过he染色后扫描得到的第一wsi数据和通过masson染色后扫描得到的第二wsi数据;
4、对第一wsi数据和第二wsi数据进行数据预处理,其中,数据预处理包括数据清洗处理、降采样分辨率处理和归一化处理;
5、对数据预处理后的第一wsi数据和第二wsi数据两者进行图像配准,使得第一wsi数据和第二wsi数据两者在空间几何上对齐;
6、将对应masson染色的第二wsi数据的染色标记,映射到对应he染色的第一wsi数据上;
7、通过rgb颜色阈值和轮廓对第一wsi数据进行初步分割处理,确定不同肝组织区域,形成初步分割标注;
8、通过修正处理对不同肝组织区域继续进行修正,形成目标分割标注,其中,修正处理包括形态学处理和连通域面积筛选处理;
9、以配置了目标分割标注的第一wsi数据,训练肝纤维化分期预测模型。
10、第二方面,本技术提供了一种肝纤维化分期预测模型的处理装置,装置包括:
11、获取单元,用于获取由肝组织样本的连续性切片通过he染色后扫描得到的第一wsi数据和通过masson染色后扫描得到的第二wsi数据;
12、数据预处理单元,用于对第一wsi数据和第二wsi数据进行数据预处理,其中,数据预处理包括数据清洗处理、降采样分辨率处理和归一化处理;
13、图像配准单元,用于对数据预处理后的第一wsi数据和第二wsi数据两者进行图像配准,使得第一wsi数据和第二wsi数据两者在空间几何上对齐;
14、映射单元用于将对应masson染色的第二wsi数据的染色标记,映射到对应he染色的第一wsi数据上;
15、初步分割单元,用于通过rgb颜色阈值和轮廓对第一wsi数据进行初步分割处理,确定不同肝组织区域,形成初步分割标注;
16、修正单元,用于通过修正处理对不同肝组织区域继续进行修正,形成目标分割标注,其中,修正处理包括形态学处理和连通域面积筛选处理;
17、训练单元,用于以配置了目标分割标注的第一wsi数据,训练肝纤维化分期预测模型。
18、第三方面,本技术提供了一种处理设备,包括处理器和存储器,存储器中存储有计算机程序,处理器调用存储器中的计算机程序时执行本技术第一方面或者本技术第一方面任一种可能的实现方式提供的方法。
19、第四方面,本技术提供了一种计算机可读存储介质,计算机可读存储介质存储有多条指令,指令适于处理器进行加载,以执行本技术第一方面或者本技术第一方面任一种可能的实现方式提供的方法。
20、从以上内容可得出,本技术具有以下的有益效果:
21、针对于高质量获得wsi数据集的目标,本技术获取由肝组织样本的连续性切片通过he染色后扫描得到的第一wsi数据和通过masson染色后扫描得到的第二wsi数据后,对两者进行数据预处理,接着对两者进行图像配准,使得第一wsi数据和第二wsi数据两者在空间几何上对齐,再将对应masson染色的第二wsi数据的染色标记,映射到对应he染色的第一wsi数据上,此时继续通过rgb颜色阈值和轮廓对第一wsi数据进行初步分割处理,确定不同肝组织区域,形成初步分割标注,再通过修正处理对不同肝组织区域继续进行修正,形成目标分割标注,其中,修正处理包括形态学处理和连通域面积筛选处理,此时就可以以配置了目标分割标注的第一wsi数据,训练肝纤维化分期预测模型,在这处理过程中,本技术以融合he染色得到的第一wsi数据和masson染色得到的第二wsi数据为基础,并结合双层的自动标注架构,如此高精度且低成本地完成wsi数据集的配置,有助于在实际应用中高精度且低成本地完成模型训练,获得性能较佳的肝纤维化分期预测模型。
1.一种肝纤维化分期预测模型的处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述对所述数据预处理后的所述第一wsi数据和所述第二wsi数据两者进行图像配准,包括:
3.根据权利要求1所述的方法,其特征在于,所述不同肝组织区域具体包括背景、非胶原组织、胶原纤维组织和汇管区。
4.根据权利要求1所述的方法,其特征在于,所述肝纤维化分期预测模型具体包括肝组织语义分割模型和肝纤维化分期预测模型两个部分;
5.根据权利要求4所述的方法,其特征在于,在训练时,所述配置了所述目标分割标注的所述第一wsi数据,以每张图像随机收集20张patch的方式配置具体投入模型训练用的数据集,其中,每一张所述patch的尺寸为512×512像素;
6.根据权利要求4所述的方法,其特征在于,所述肝组织语义分割模型在u-net网络的模型架构的基础上配置,并配置有以下内容:
7.根据权利要求4所述的方法,其特征在于,所述肝纤维化分期预测模型在inception-v3网络的模型架构的基础上配置,并配置有以下内容:
8.一种肝纤维化分期预测模型的处理装置,其特征在于,所述装置包括:
9.一种处理设备,其特征在于,包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器调用所述存储器中的计算机程序时执行如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至7任一项所述的方法。