本发明涉及切片扫描仪,具体涉及一种病理切片扫描仪图像质量评估方法及系统。
背景技术:
1、病理诊断贯穿在临床疾病的早期筛查、确诊、治疗以及预后评估过程中,是确定疾病的“金标准”,尤其在肿瘤诊断中,病理诊断结果至关重要。传统病理诊断是由医生借助显微镜观察病理切片上的细胞或组织,凭借诊断医生已有的经验,进行诊断决策。这种诊断模式不仅对医生阅片经验要求高、信息本身的传承和解读很困难,而且费时费力。本世纪初,信息技术渗透到常规病理检查实践,产生了最初的远程显微镜以及虚拟切片(virtualslide,vs)技术,为病理图像交流提供了便利。经过多年发展,切片数字化(slidedigitalization)得以实现,数字病理(digital pathology)时代就此开启,不仅运用于远程病理(telepathology)诊断,也开始逐步改变病理诊断的工作模式。
2、数字病理的第一步,便是通过病理切片扫描仪扫描实体玻璃切片,以采集得到切片各区域的高分辨数字图像,再应用算法将这些图像进行处理和无缝拼接,以获得对应的全切片图像(whole slide image,wsi),也称为数字切片(digital slide,ds)。数字切片不但实现了病理资源永久储存,而且可不受时空限制同步浏览处理,使得病理远程会诊成为可能。目前,国内外已有不少的切片扫描仪生产厂家,包括:德国蔡司(zeiss)公司、德国徕卡(leica)公司、匈牙利3dhistech公司、荷兰飞利浦(philips)公司、日本滨松(hamamatsu)公司以及中国的麦克奥迪、江丰、生强等等。扫描仪作为光、机、电、算、软的有机结合体,不同厂家因采用的软硬件不同而导致在速度和质量等性能方面存在较大差异。此外,为了适应不同切片的扫描以及在速度和质量之间取得平衡,扫描仪往往会提供数种扫描模式比如标准、高精度、扩展景深等供用户选择,这些模式因为采用了不同的对焦策略因而获得的数字切片质量也不尽相同。因此,如何客观地衡量扫描仪的性能是一个需要解决的问题。
3、切片扫描仪在产线装配和调校完成之后,需要明确是否合格。最直接的方法就是扫描测试,通过查验扫描出来的数字切片是否合格,来间接判断该扫描仪的装配或调校是否合格。目前的查验方法是通过质检人员对扫描出来的数字切片逐个视野进行浏览,以确定是否有模糊或拼接不好的情况。这种做法非常费时费力,而且容易漏检。
4、对比文件“一种扫描图像质量综合评价方法及评价系统”(cn105261013a),通过加权将无参和有参结合在一起,给出了一个综合的评价指标。其基本过程如下:对每一个图像,进行预处理后,首先对该预处理图像进行无参考评价,得到无参考评价值d1(由预处理图像的均值、方差、清晰度和拉伸率组合构成);然后,对该预处理图像进行阈值分割和二值化,得到“后扫描图像”,同时,读取该预处理图像的gerber资料,并根据这些资料生成“标准图像”,接下来提取“后扫描图像”和“标准图像”中的特征点并计算出两者之间的变换矩阵,并根据该矩阵对“标准图像”进行变换以得到与对应“后扫描图像”同尺寸的“后标准图像”,进一步,以“后标准图像”为参考,计算“后扫描图像”的参考评价值d2(由均方差mse、亮度相似度、对比度相似度、结构相似度等组合而成);最后将d1和d2进行加权得到d=w1*d1+w2*d2,作为最后的评价值。
5、对比文件虽然称为扫描图像质量评估方法,专利cn105261013a的方法存在如下不足:
6、(1),由其执行过程可以看出,其所适用的图像限于矢量图像(尤其是pcb线路板图像),其参考图像是根据gerber资料生成的矢量图像,因此不大适应于病理切片扫描仪产生的病理图像;
7、(2)、参考图(后标准图像)与待评价图(后扫描图像)都是经过了处理或变换的图像,比如后者经过了阈值分割和二值化,即经过了几何变换,因此实际上是间接评价;
8、(3)、未涉及拼接质量的评估。
技术实现思路
1、针对上述提到的技术问题,本技术的实施例的目的在于提出了一种病理切片扫描仪图像质量评估方法及系统,能够从对焦质量和拼接质量两方面方便地获得所用病理切片扫描仪的数字切片质量等级,为切片扫描仪的装配、选购等提供客观依据。
2、本发明的技术方案如下。
3、一方面,一种病理切片扫描仪图像质量评估方法,包括:
4、待评估片获取步骤,获取待评估扫描仪依次对每一张标准片进行全切片扫描得到的数字图像,作为待评估片;所述待评估片包括待评估视野图像集和待评估数字切片;
5、对焦质量计算步骤,对每一个待评估数字切片,寻找待评估视野图像集中的每个待评估视野图像与对应的参考视野图像之间的重叠区域;分别获取待评估视野图像在重叠区域上的子图像和参考视野图像在重叠区域上的子图像,基于两子图像,获得清晰度退化率;
6、拼接质量计算步骤,对每一个待评估数字切片,获取每个待评估视野图像在全景图中的坐标;确定待评估视野图像与其邻域视野图像之间的重叠区域,并分别获取待评估视野图像与其邻域视野图像在重叠区域上的子图像,计算两子图像的相关系数;
7、图像质量评估步骤,基于清晰度退化率,获得待评估视野图像的对焦质量等级;基于相关系数,获得待评估视野图像的拼接质量等级;基于对焦质量等级和/或拼接质量等级,对待评估数字切片的图像质量进行评估。
8、优选的,所述寻找待评估视野图像集中的每个待评估视野图像与对应的参考视野图像之间的重叠区域之前,还包括:
9、进行空白判断,如果图像为空白,则转入下一个待评估视野图像的拼接质量计算,否则,寻找待评估视野图像集中的每个待评估视野图像与对应的参考视野图像之间的重叠区域。
10、优选的,所述寻找待评估视野图像集中的每个待评估视野图像与对应的参考视野图像之间的重叠区域,具体包括:
11、对待评估视野图像poi,j,d,n,定义其候选参考视野图像集prp,q,d,n为:
12、ω(poi,j,d,n)={prp,q,d,n|i-kr≤p≤i+kr;j-kc≤q≤j+kc}
13、其中,poi,j,d,n为第i行第j列上的待评估视野图像;d=1,2,3,为类别;n=1,2,…n,为每类的张数;i=1,2,…,rod,n;j=1,2,…,cod,n;rod,n为扫描得到的视野行数;cod,n为扫描得到的视野列数;kr和kc为预设的正整数,分别为行方向视野偏移阈值和列方向视野偏移阈值;
14、在ω(poi,j,d,n)中寻找与poi,j,d,n具有最大重叠面积的参考视野图像primax,jmax,d,n,将poi,j,d,n与primax,jmax,d,n之间的重叠区域作为待评估视野图像与对应的参考视野图像之间的重叠区域。
15、优选的,所述所述在ω(poi,j,d,n)中寻找与poi,j,d,n具有最大重叠面积的参考视野图像primax,jmax,d,n,具体包括:
16、采用与参考视野图像相同的特征提取算法对待评估视野图像进行特征提取,得到待评估特征库a(poi,j,d,n),如下:
17、a(poi,j,d,n)={fok,i,j,d,n|k=1,2,…,ki,j,d,n,o}
18、其中,fok,i,j,d,n为图像poi,j,d,n的第k个特征点,ki,j,d,n,o为特征点个数;
19、将a(poi,j,d,n)依次与ω(poi,j,d,n)中每一个成员对应的特征库进行特征匹配,获得变换t(p,q);
20、根据每个变换t(p,q)计算出poi,j,d,n与每一个候选参考图像prp,q,d,n之间的重叠区域,将其中具有重叠区域最大者记为primax,jmax,d,n。
21、优选的,所述分别获取待评估视野图像在重叠区域上的子图像和参考视野图像在重叠区域上的子图像,基于两子图像,获得清晰度退化率,如下:
22、令poi,j,d,n在重叠区域上的子图像为o(poi,j,d,n),令primax,jmax,d,n在重叠区域上的子图像为o(primax,jmax,d,n),计算待评估视野图像的清晰度退化率,如下:
23、d(poi,j,d,n)=[s(o(primax,jmax,d,n))-s(o(poi,j,d,n))]/s(o(primax,jmax,d,n))
24、其中,s(.)为清晰度算子。
25、优选的,所述拼接质量计算步骤,具体包括:
26、读取待评估数字切片vod,n,获得每个待评估视野图像在全景图中的坐标(xoi,j,d,n,yoi,j,d,n),其中,d=1,2,3,为类别;n=1,2,…n,为每类的张数;i=1,2,…,rod,n;j=1,2,…,cod,n;rod,n为扫描得到的视野行数;cod,n为扫描得到的视野列数;
27、对任意两个相邻待评估视野图像poi,j,d,n和pop,q,d,n,|i-p|+|j-q|=1,执行以下操作:
28、确定两个相邻待评估视野图像的重叠区域[xs,xe,ys,ye],如下:
29、xs=max(xoi,j,d,n,xop,q,d,n)
30、xe=min(xoi,j,d,n+w,xop,q,d,n+w)
31、ys=max(yoi,j,d,n,yop,q,d,n)
32、ye=min(yoi,j,d,n+h,yop,q,d,n+h)
33、其中,w和h分别为视野图像的像素宽度和像素高度;
34、该重叠区域对应于poi,j,d,n的区域如下:
35、aij=[xs-xoi,j,d,n,xe-xoi,j,d,n,ys-yoi,j,d,n,ye-yoi,j,d,n]
36、该重叠区域对应pop,q,d,n的区域如下:
37、apq=[xs-xop,q,d,n,xe-xop,q,d,n,ys-yop,q,d,n,ye-yop,q,d,n]
38、加载图像poi,j,d,n和pop,q,d,n,并分别提取位于区域aij和区域apq中的子图像,表示为poi,j,d,n(aij)和pop,q,d,n(apq);
39、计算poi,j,d,n(aij)和pop,q,d,n(apq)的相关系数c(poi,j,d,n(aij),pop,q,d,n(apq))。
40、优选的,所述相关系数c(poi,j,d,n(aij),pop,q,d,n(apq))的计算方法,如下:
41、
42、其中,cov(poi,j,d,n(aij),pop,q,d,n(apq))为向量poi,j,d,n(aij)与pop,q,d,n(apq)的协方差,var[poi,j,d,n(aij)]为poi,j,d,n(aij)的方差,var[pop,q,d,n(apq)]为pop,q,d,n(apq)的方差。
43、优选的,所述基于清晰度退化率,获得待评估视野图像的对焦质量等级;基于相关系数,获得待评估视野图像的拼接质量等级,具体包括:
44、基于清晰度退化率所在范围,获得待评估视野图像的对焦质量等级;基于相关系数所在范围,获得待评估视野图像的拼接质量等级。
45、优选的,所述基于对焦质量等级和/或拼接质量等级,对待评估数字切片的图像质量进行评估,具体包括:
46、根据整个待评估数字切片中各个对焦质量等级的待评估视野图像个数和/或各个拼接质量等级的待评估视野图像个数,判断切片是否质量合格。
47、另一方面,一种病理切片扫描仪图像质量评估系统,包括:
48、待评估片获取模块,用于获取待评估扫描仪依次对每一张标准片进行全切片扫描得到的数字图像,作为待评估片;所述待评估片包括待评估视野图像集和待评估数字切片;
49、对焦质量计算模块,用于对每一个待评估数字切片,寻找待评估视野图像集中的每个待评估视野图像与对应的参考视野图像之间的重叠区域;分别获取待评估视野图像在重叠区域上的子图像和参考视野图像在重叠区域上的子图像,基于两子图像,获得清晰度退化率;
50、拼接质量计算模块,用于对每一个待评估数字切片,获取每个待评估视野图像在全景图中的坐标;确定待评估视野图像与其邻域视野图像之间的重叠区域,并分别获取待评估视野图像与其邻域视野图像在重叠区域上的子图像,计算两子图像的相关系数;
51、图像质量评估模块,用于基于清晰度退化率,获得待评估视野图像的对焦质量等级;基于相关系数,获得待评估视野图像的拼接质量等级;基于对焦质量等级和/或拼接质量等级,对待评估数字切片的图像质量进行评估。
52、相比于现有技术,本发明具有以下有益效果:
53、本发明能为病理切片扫描仪提供一个客观的图像质量评估方法及系统,通过本发明,用户可以方便地获得所用病理切片扫描仪的数字切片质量等级,为切片扫描仪的装配、选购等提供客观依据求。
1.一种病理切片扫描仪图像质量评估方法,其特征在于,包括:
2.根据权利要求1所述的病理切片扫描仪图像质量评估方法,其特征在于,所述寻找待评估视野图像集中的每个待评估视野图像与对应的参考视野图像之间的重叠区域之前,还包括:
3.根据权利要求1所述的病理切片扫描仪图像质量评估方法,其特征在于,所述寻找待评估视野图像集中的每个待评估视野图像与对应的参考视野图像之间的重叠区域,具体包括:
4.根据权利要求3所述的病理切片扫描仪图像质量评估方法,其特征在于,所述所述在ω(poi,j,d,n)中寻找与poi,j,d,n具有最大重叠面积的参考视野图像primax,jmax,d,n,具体包括:
5.根据权利要求3所述的病理切片扫描仪图像质量评估方法,其特征在于,所述分别获取待评估视野图像在重叠区域上的子图像和参考视野图像在重叠区域上的子图像,基于两子图像,获得清晰度退化率,如下:
6.根据权利要求1所述的病理切片扫描仪图像质量评估方法,其特征在于,所述拼接质量计算步骤,具体包括:
7.根据权利要求6所述的病理切片扫描仪图像质量评估方法,其特征在于,所述相关系数c(poi,j,d,n(aij),pop,q,d,n(apq))的计算方法,如下:
8.根据权利要求1所述的病理切片扫描仪图像质量评估方法,其特征在于,所述基于清晰度退化率,获得待评估视野图像的对焦质量等级;基于相关系数,获得待评估视野图像的拼接质量等级,具体包括:
9.根据权利要求1所述的病理切片扫描仪图像质量评估方法,其特征在于,所述基于对焦质量等级和/或拼接质量等级,对待评估数字切片的图像质量进行评估,具体包括:
10.一种病理切片扫描仪图像质量评估系统,其特征在于,包括:
