本发明涉及图像处理,尤其是涉及一种细胞密集型生物医学影像相似性判断方法、装置、设备及介质。
背景技术:
1、生物医学研究中常用的图像如苏木精-伊红(he)染色的病理图像、ihc免疫组化图像、抗核抗体荧光图像(ana)等,这些图像的共同特点是一张图像内会包含若干密集细胞(如图1所示)。对该类的图像,常用的图像特征描述包括整体特征和局部特征,整体特征包括该图像内的目标物体(细胞)的多少、分布密集程度、是否有聚集区域等,局部特征则包括该图像内是否有特殊目标物体(如是否有肿瘤细胞、是否有破碎的其他物体)、特殊目标物体的特征累积等。
2、不同图像的相似性指标包括:距离方法、直方图方法、皮尔逊相关系数等。这些图像相似性指标对需要依赖多个密集目标特征的细胞密集型生物医学图像并不适用。例如图2展示的两张抗核抗体图像a和c,两张图像都包含了若干荧光细胞,图像的分类特征依赖于某些关键的细胞特征,如出现了聚集在一起的染色质,同时存在一些粗颗粒的细胞,可以判定两个图属于同一个抗核抗体的类别。图2中,a和c是两个同一类型的ana抗核抗体荧光影像,b是与a结构相似的图但不包含任何细胞影像特征。然而,根据传统的相似性指标计算方法,得到的指标无法将两张ana图与相似联系起来。例如,分别计算图2中a、b、c三张图两两之间的相似性指标,得到皮尔逊相关系数计算的结果a与b的相似性为0.7250,a与c为0.5893,b与c为0.5845,认为a与b是最相似的图。又或者,计算图像的欧式距离:a与b为50105.70,a与c为42484.48,b与c为39196.68,认为b与c最相似。
3、如图3所示的三张图为模拟生成的细胞密集型图像,其中a和b(其中的细胞模拟的成了正方形)都是关于几个正方形物体的聚集的图像,c是圆形物体(模拟的细胞形态)的聚集图像,不同的是a和b的颜色有些差异,b中的某些个体发生了角度的变化,但是整体来看依然是正方形物体的密集聚集图像。然而,当我们使用传统的图像相似性计算方法计算的结果:图像的直方图chi-square距离计算的结果a与b性为42.4126,a与c为1.8352,b与c为558.5504,认为a与c是最相似的图。计算图像的欧式距离:a与b为98912.32,a与c为87709.19,b与c为137340.03,认为a与c最相似。
4、因此,多个细胞密集的图像中,仅某些目标物体的角度、位置发生了变化、或者某类别的物体的数目发生了变化,这些在传统的计算方法中都会影响像素相似性计算。对具体的检测/识别/分割等影像任务,如何判断充满了不确定数目目标(物体)、目标空间位置不一样的两个图是否相似,传统的方法已然不适用。
技术实现思路
1、本发明的目的是为了提供一种细胞密集型生物医学影像相似性判断方法、装置、设备及介质,实现充满了不确定数目目标物体、目标空间位置不一样的细胞密集型生物医学影像之间准确的相似性判断。
2、本发明的目的可以通过以下技术方案来实现:
3、一种细胞密集型生物医学影像相似性判断方法,包括以下步骤:
4、s1,获取生物医学影像数据集;
5、s2,对生物医学影像中密集的单个目标进行检测,其中,所述目标为细胞或细胞核;
6、s3,根据步骤s2检测到的单个目标,利用基于对比学习的深度卷积神经网络模型,获取目标的影像特征;
7、s4,基于大量目标的影像特征的聚类结果,计算密集目标的群体特征;
8、s5,基于群体特征进行图像相似性判断。
9、所述步骤s1中的生物医学影像数据集包括单个的目标物体位置检测的标签信息。
10、所述步骤s2中,建立基于yolo的目标检测模型,检测生物医学影像中密集的单个目标物。
11、所述步骤s3具体为:构建基于对比学习的深度卷积神经网络模型,将步骤s2检测到的单个目标物体作为训练集对模型进行训练,通过对比学习获得目标物体的影像特征,其中,基于单个目标物体的影像特征不受角度旋转影响的特征,在训练过程中,每个单个目标物体随机旋转1~360度,并随机选择预设对数的原图与对应的旋转扩增图通过深度卷积神经网络模型的编码器模块计算影像特征,利用一对图像的影像特征计算损失函数,并最小化损失函数实现模型训练。
12、所述步骤s4具体为:利用无监督聚类的方法对全部的目标物体的影像特征进行聚类分析,获得最佳聚类数目;根据聚类结果统计群体特征,所述群体特征包括每个类别的数目比例、类别内影像特征均值和空间分布特征。
13、记群体特征的第一个表示f1为每个类别的数目比例,f1=(k1,k2,k3,…,kn),其中n为总类别数目,即最佳聚类数目,ki代表第i类别的目标物体数目占总物体数的比例;
14、记群体特征的第二个表示f2为类别内影像特征均值,即每个类别内所有目标物的影像特征的均值,假定每个类别的影像特征维度是m,则f2表示为一个包含n个m维向量的集合,f2={v1,v2,v3,…,vn},vi代表第i类别的目标物体的影像特征均值向量,其中i∈{1,2,3,…,n};
15、记群体特征的第三个表示f3为空间分布特征,用一个n×n的距离矩阵表示,矩阵中的元素kij代表第i类和第j类的所有目标物体的最近欧式距离的中值,i,j∈{1,2,3,…,n};
16、综合三个表示得到一张图像的群体特征表示为{f1,f2,f3}。
17、所述步骤s5具体为:基于两张图像的群体特征表示,通过群体特征表示分别计算相似性指标,其中,对于群体特征的第一个表示f1,其为一个n维向量,计算两张影像对应的两个n维向量的pearson相似性值,作为第一相似性指标;对于群体特征的第二个表示f2,其为一个m×n维的矩阵,将矩阵按列展开为一个一维向量,计算两张影像对应的两个一维向量的余弦相似度,作为第二相似性指标;对于群体特征的第三个表示f3,其为一个n×n的对称矩阵,对其进行特征分解,用两张影像对应的特征值之差构建的对角矩阵计算frobenius范数,作为第三相似性指标;基于第一、第二和/或第三相似性指标确定两张影像之间的相似性。
18、一种细胞密集型生物医学影像相似性判断装置,包括:
19、数据获取模块,用于获取生物医学影像数据集;
20、目标检测模块,用于对生物医学影像中密集的单个目标进行检测,其中,所述目标为细胞或细胞核;
21、影像特征提取模块,用于根据目标检测模块检测到的单个目标,利用基于对比学习的深度卷积神经网络模型,获取目标的影像特征;
22、群体特征计算模块,用于基于目标的影像特征的聚类结果,计算密集目标的群体特征;
23、相似性判断模块,用于基于群体特征进行图像相似性判断。
24、一种电子设备,包括存储器和处理器,所述存储器上存储有计算机程序,所述处理器执行所述程序时实现如上述所述的方法。
25、一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如上述所述的方法。
26、与现有技术相比,本发明具有以下有益效果:
27、(1)本发明将图像整体特征映射到群体特征,避免因目标物体数目差异、单个目标物体展示角度差异等问题导致的结果不准,能够有效改进图像相似性计算效果,并且具有鲁棒性。
28、(2)本发明利用了基于对比学习的目标物体特征预训练学习方法,通过训练集的目标物体随机旋转等图像扩增方法,实现同一目标物体旋转不同角度后其影像特征保持不变。
29、(3)本发明提出的相似性计算方法从三个角度刻画两个图像的相似性,具有很强的可解释性。三个角度包括类别比例相似性、类内影像特征均值相似性、群体空间分布密度相似性,针对不同的关注点对三个群体特征赋予不同权重获得整体图像的相似性。
1.一种细胞密集型生物医学影像相似性判断方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种细胞密集型生物医学影像相似性判断方法,其特征在于,所述步骤s1中的生物医学影像数据集包括单个的目标物体位置检测的标签信息。
3.根据权利要求1所述的一种细胞密集型生物医学影像相似性判断方法,其特征在于,所述步骤s2中,建立基于yolo的目标检测模型,检测生物医学影像中密集的单个目标物。
4.根据权利要求1所述的一种细胞密集型生物医学影像相似性判断方法,其特征在于,所述步骤s3具体为:构建基于对比学习的深度卷积神经网络模型,将步骤s2检测到的单个目标物体作为训练集对模型进行训练,通过对比学习获得目标物体的影像特征,其中,基于单个目标物体的影像特征不受角度旋转影响的特征,在训练过程中,每个单个目标物体随机旋转1~360度,并随机选择预设对数的原图与对应的旋转扩增图通过深度卷积神经网络模型的编码器模块计算影像特征,利用一对图像的影像特征计算损失函数,并最小化损失函数实现模型训练。
5.根据权利要求1所述的一种细胞密集型生物医学影像相似性判断方法,其特征在于,所述步骤s4具体为:利用无监督聚类的方法对全部的目标物体的影像特征进行聚类分析,获得最佳聚类数目;根据聚类结果统计群体特征,所述群体特征包括每个类别的数目比例、类别内影像特征均值和空间分布特征。
6.根据权利要求5所述的一种细胞密集型生物医学影像相似性判断方法,其特征在于,记群体特征的第一个表示f1为每个类别的数目比例,f1=(k1,k2,k3,…,kn),其中n为总类别数目,即最佳聚类数目,ki代表第i类别的目标物体数目占总物体数的比例;
7.根据权利要求6所述的一种细胞密集型生物医学影像相似性判断方法,其特征在于,所述步骤s5具体为:基于两张图像的群体特征表示,通过群体特征表示分别计算相似性指标,其中,对于群体特征的第一个表示f1,其为一个n维向量,计算两张影像对应的两个n维向量的pearson相似性值,作为第一相似性指标;对于群体特征的第二个表示f2,其为一个m×n维的矩阵,将矩阵按列展开为一个一维向量,计算两张影像对应的两个一维向量的余弦相似度,作为第二相似性指标;对于群体特征的第三个表示f3,其为一个n×n的对称矩阵,对其进行特征分解,用两张影像对应的特征值之差构建的对角矩阵计算frobenius范数,作为第三相似性指标;基于第一、第二和/或第三相似性指标确定两张影像之间的相似性。
8.一种细胞密集型生物医学影像相似性判断装置,其特征在于,包括:
9.一种电子设备,包括存储器和处理器,所述存储器上存储有计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1~7中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1~7中任一项所述的方法。