本发明涉及用于确定图像序列的信号序列的信号组成的方法以及装置以及用于训练具有处理模型的机器学习系统的方法和装置,处理模型被训练用于确定图像序列的图像区的信号序列的信号组成。
背景技术:
1、从ep2992115b1中得到一种用于通过在多轮染色中用标记物染色待鉴定分析物来鉴定分析物的方法。标记物由寡核苷酸和与之偶联的染料构成,染料一般是荧光染料。寡核苷酸对待鉴定分析物的一定部分有特异性。但标记物的若干寡核苷酸对于各自分析物并非明确无疑。但由于有多轮染色而有可能进行分析物的明确无疑确定,因为在进行多轮染色之后可以将多个不同标记物分配给某个寡核苷酸并且所配属的多个标记物于是对于各自分析物是明确无疑的。
2、可利用这种方法在体外例如在细胞中借助荧光显微镜检测不同分析物。分析物可以是rna、特别是mrna或trna。分析物也可以是dna的片段。
3、通常有许多分析物位于样本内,其可利用上述染色轮被并行鉴定,即便其在此情况下应该是不同的分析物。样本内的分析物越多,在各自染色轮中的待检标记物数量越大。在自动采集并评估相应图像信号的情况下,必须获得样本内所有标记物的图像信号并也与样本内的未由标记物引起的图像信号区分开。
4、从wo2020/254519a1和wo2021/255244a1中得到另一种方法,借此尤其能鉴定分析物、但也能鉴定蛋白质。在该方法中,首先将对各自分析物有特异性的探针偶联至分析物。探针含有不与分析物杂交的寡核苷酸残基。解码寡核苷酸在这些游离残基上杂交,解码寡核苷酸相对于游离残基突出。在突出部处,标记物分子(简称标记物)与染料杂交。在该方法中也在多轮染色中在相应分析物上产生一系列图像信号,它们给出关于各自存在的分析物的推断。但也知道了如下方法,此时标记物直接结合于寡核苷酸游离残基上。
5、在图像拍摄后,图像信号的通过染色轮所记录下的信号序列接受分析,在所述分析中将信号序列分配给分析物类型。事实表明,信号序列的分析并非总提供明确无疑的结果。
技术实现思路
1、本发明基于以下任务,提供一种方法,借此即便对于由多个分析物的信号序列组成的信号序列也能确定图像序列的信号序列的信号组成。
2、本发明的另一任务是提供一种方法,其即便对于由多个分析物的信号序列组成的信号序列也允许训练机器学习系统以确定图像序列的信号序列的信号组成。
3、本发明的一个方面涉及一种训练具有处理模型的机器学习系统的方法。该处理模型被训练用于确定图像序列的图像区的信号序列的信号组成。该图像序列通过在多轮染色中用标记物标记分析物并用相机检测标记物来产生。相机在每轮染色中拍摄图像序列的一个图像。如此选择标记物,分析物信号序列在图像序列范围内在一个图像区中包括染色信号和未染色信号。分析物信号序列的染色信号和未染色信号具有各自信号序列的其中一个染色信号和/或未染色信号与各自信号序列的至少其中另一个染色信号和/或未染色信号的至少一个一定比例,或分析物信号序列具有包括该至少一个一定比例的表征标记。该方法包括提供标注的数据组的步骤,其中该标注的数据组对于各不同待鉴别的信号分量包括输入信号序列和对应的目标输出。该信号分量包括用于每个待鉴定分析物类型的至少一个信号分量。分析物信号序列包括据此能给信号序列分配分析物类型的染色信号和未染色信号特定顺序。该方法还包括通过调整处理模型的模型参数来优化目标函数的步骤,其中目标函数基于由处理模型输出的结果输出和该目标输出来计算。
4、根据本发明,分析物是实事,其在样本内的存在或缺失将被特异性证明并且在其存在情况下将对其存在进行编码。在此,它可以是任何类型的实体,包括蛋白质、多肽、蛋白质或核酸分子(如rna、pna或dna),其也被称为转录物。分析物提供至少一个用于与分析物特异性探针特异性偶联的位点。本发明意义上的分析物也可以包括物体的络合物,例如至少两个单独的核酸、蛋白质或肽分子。在本文的一个实施方式中,分析物排除染色体。在本文的另一实施方式中,分析物排除dna。在一些实施方式中,分析物可以是编码序列、结构核苷酸序列或结构核酸分子,当其在适当的调控序列的控制下时,其涉及一般通过mrna翻译成多肽的核苷酸序列。编码序列的边界由5'-末端的翻译起始密码子和3'-末端的转换终止密码子决定。编码序列可以包括但不限于基因组dna、cdna、est和重组核苷酸序列。根据应鉴定哪一类型的分析物,这种方法被称为空间转录组学或多组学。
5、术语图像信号以下被理解为是指用于预定颜色信道的某颜色的图像像点值,或者图像信号包含颜色图的颜色空间的不同基色的值。
6、因此,术语信号序列以下被理解为信号序列包括图像序列的图像区的图像信号,其中图像序列的各不同图像的图像区被相互配准。图像区因此在图像序列的所有图像中获得样本内的相同位点。一个图像区的信号序列包括各自图像区的图像序列的图像的图像信号。
7、术语信号组成以下因此是指,信号组成针对各不同可能的或待鉴别的信号分量包括一个信号占比。信号分量例如可以是不同分析物类型的信号分量,但也可以是背景图像的信号分量。信号占比在此可以是绝对信号占比、相对信号占比或也可以仅是二进制值信号占比,即,信号组成分别仅说明其中哪些可能的信号分量对信号序列作出贡献。
8、根据本发明,分别包括标记物颜色的频谱范围也被称为颜色信道。在颜色信道内被分开的图像是单色图像且对于每个像点作为值或测量值包含在颜色信道的颜色中的像点的上述图像信号。
9、发明人已经认识到,获得分析物图像信号的图像区的信号序列在该信号序列范围内分别具有在各自信号序列的染色信号和/或未染色信号之间的至少一个一定比例。因此,源自分析物的信号序列包括表征标记,其包括信号序列的染色信号和/或未染色信号的该至少一个一定比例。另外,分析物信号序列针对每个待鉴定分析物类型具有染色信号和未染色信号的一定顺序,据此能将分析物信号序列分配给一个分析物类型。由于一种处理模型根据机器学习系统训练方法用包括具有一定比例或表征标记的染色信号和未染色信号以及染色信号和未染色信号特定顺序的信号序列被训练用于鉴定分析物类型,故可以提供一种很有效、快速且能良好控制的具有处理模型的机器学习系统的训练方法,处理模型给图像序列的图像区的信号序列分配信号分量的信号占比。通过这种方式所训练的机器学习系统能很高效地分析带有标记的分析物的图像序列的数据并且还可靠地将具有多个信号分量的信号占比的信号序列分配给该信号占比。
10、此外,标注的数据组优选包括背景图像区的输入信号序列,其中背景图像区是图像序列的在此未获得分析物信号的图像区,而目标输出针对背景图像区在信号分量集合中形成至少一个自己的信号分量。
11、由于背景图像区信号作为独自的信号分量加入信号分量分析中且已在训练中予以考虑,故信号占比的识别和将其分配给信号分量进一步改善。
12、处理模型优选是分类模型,结果输出是输入信号序列的信号分量。或者,结果输出是概率分布,其分别说明属于其中哪个信号分量的概率,并且目标函数获得结果输出与目标输出之间差异。
13、由于处理模型作为分类模型被训练用于输出信号分量,故处理模型的输出能简单地被分配给各自信号分量的信号占比而无需进一步匹配。如果分类模型被训练成其输出概率分布,则也可依据该结果直接读出处理模型在分配信号分量时有多可靠,这允许使用者在分配存疑时或许检查相应的分配,这是特别符合期望的。本发明因此提供一种机器学习系统训练方法,借此以简单方式能将机器学习系统训练用于鉴别信号序列的信号分量的信号占比。
14、目标函数优化最好分多轮进行,其中在其中几轮中改变其中一个输入信号序列的染色信号和未染色信号顺序,使得改变后的顺序对应于待鉴定分析物类型中另一个的顺序,并且关于改变后的顺序在优化目标函数时采用相应对应的目标输出。
15、由于人们适当改变其中一个输入信号序列的染色信号和未染色信号顺序以致得到待鉴定分析物类型中另一个的顺序,故输入信号序列可被构图,借此来训练网络以鉴定对此无输入信号序列可供训练所用的分析物类型。
16、目标函数优选是分类损失,结果输出对于每一项具有在0和1之间的值,其说明各自信号序列属于各自信号分量的概率。
17、分类损失可以例如是交叉熵损失、hinge损失、对数损失或者kullback-leibler损失。
18、由于在训练时采用分类损失,故可以通过很简单的方式生成概率输出。
19、目标输出优选是理论位序列,其中目标输出对于输入信号序列中的每个染色信号包括一个真位,对于每个未染色信号包括一个假位。
20、由于目标输出是理论位序列,故处理模型的结果输出可被很容易匹配,此外,理论位序列对存储器需求不大,故标注的数据组可被提供使用,其尽量少地耗用储器。
21、结果输出最好是概率分布,在此给输入信号序列的每个图像信号分配图像信号是或不是染色信号的概率。目标函数获得结果输出与目标输出之间差异。
22、由于结果输出是概率分布,故使用者可以在检查输出结果时容易识别处理模型是否已很可靠地识别出各自染色信号。故该方法允许特别容易解读输出结果。
23、优选地,结果输出的每一项是在0和1之间的值,其说明信号序列的各自图像信号是染色信号的概率。
24、目标函数可以例如是l1标准、l2标准、交叉熵损失、hinge-loss、对数损失或者kullback-leibler损失。
25、处理模型最好是完整折叠网络,其作为具有完整相连层的分类模型借助若干图像区的信号序列被训练过,其中分类模型在训练之后通过由折叠层取代完整相连层而被转移到完整折叠网络中。完整折叠网络同时处理图像序列的所有图像区的信号序列。根据一个替代方案,完整折叠网络可直接作为这种网络被训练。
26、由于完整折叠网络作为具有完整相连层的分类模型被训练,故人们在通过使用若干图像区的信号序列训练时节约计算能力,因为并不总需要推断整个图像序列。
27、目标函数计算优选包括针对分析物的每个输入信号序列的候选组候选目标函数的计算。对于每个候选目标函数,输入信号序列中的众多染色信号中的另一染色信号在候选目标函数计算中未予考虑,因为其例如设定为0或被未染色信号取代。在计算用于背景图像区输入信号序列的候选目标函数时,背景图像区输入信号序列所包含的一些或许多染色信号在候选目标函数计算中未予考虑,因为相应染色信号在计算时被省去或被未染色信号取代。在计算候选组之后进行从候选组中选择一个选择目标函数。选择目标函数是其中如下候选目标函数,其或是具有目标位序列与结果位序列之间的第二最大或第三最大或第四最大差异,优选第二最大差异。
28、根据本方法,在拍摄图像序列之前如此选择理论位序列,各不同待鉴定分析物类型具有某个汉明距(hamming-abstand)。汉明距是指符号链在此是位序列的差异性程度。具有相同长度的两块的汉明距在此是不同位点的数量。
29、汉明距在此被选择成待鉴定分析物类型即便在由例如1位错误时也能被识别。通过如在此所述地确定选择目标函数,故可以教会处理模型也能可靠识别错误获得的信号序列。
30、处理模型最好是嵌入模型,其为了嵌入输入确定嵌入到嵌入空间中。嵌入输入包括输入信号序列和目标输出。结果输出包括输入信号序列的嵌入。目标嵌入包括目标输出的嵌入。目标函数优化将相同信号分量的嵌入输入的嵌入之间差异最小化,同时将不同信号分量的嵌入输入的嵌入之间差异最大化。
31、由于目标函数被选择成如此将分析物类型的理论位序列和对应的输入信号序列嵌入该嵌入空间中,即其差异被最小化,故人们可以通过简单方式将理论位序列分配给所获信号序列。另外,理论位序列与所获信号序列的匹配直接在模型内进行,这明显加快处理速度,因为该方法例如可直接在图形卡或专用于机器学习的加速卡如张量处理器或专用芯片上实行。
32、所述理论位序列和输入信号序列优选以嵌入模型的输入层的不同处理路径中被输入
33、由于理论位序列和输入信号序列在嵌入模型的输入层的不同处理路径中被输入,故嵌入模型具有不同的模型参数用于理论位序列和输入信号序列,因此其可被适当嵌入该嵌入空间中。通过使用不同处理路径,嵌入空间内的间隔因此减小,并且分析物类型能更好地相互区分开。
34、目标函数优化最好包括多轮,在其中几轮中进行输入信号序列的随机化。随机化在此包括:交换输入信号序列的图像信号的顺序以及相应交换目标输出的对应项并且从输入信号序列集合中随机选择第一数量的染色信号和第二数量的未染色信号并且创建相应对应的目标输出。
35、根据现有技术,在实验前确定理论位序列以空间确定分析物,依据理论位序列可鉴定各不同分析物类型。根据各自样本所含分析物类型,采用不同组的理论位序列。通过随机化该输入信号序列,处理模型可被训练成与各自针对新实验所重新确定的理论位序列无关地识别分析物信号序列。故模型可被训练一次以识别分析物信号序列且随后被用到截然不同组的理论位序列。
36、目标函数优化最好分多轮进行,在其中几轮中进行输入信号序列的增强。增强例如可以包括以下中的一个或多个:由一个未染色信号取代输入信号序列的其中一个单独的染色信号,其中未染色信号或是通过下降染色信号或是通过由来自信号序列的图像区周围、来自另一轮染色的或样本内另一位点的图像信号取代染色信号来产生;随机交换图像序列的其中几个图像信号,如一个输入信号序列的、图像序列的其中一个图像的或图像序列的所有图像的图像信号;例如以小于2个的像点或以小于或等于1个的像点如以半个像点相对移动和/或旋转该图像序列的图像;由一个染色信号取代输入信号序列的未染色信号中的单独一个;使图像序列的至少其中一个图像的图像信号位移一个恒定值;使输入信号序列的图像信号位移一个恒定值。
37、通过增强信号序列可以将处理模型的训练安排得更鲁棒。
38、输入信号序列最好借助变换被变换为变换后的输入信号序列,变换后的输入信号序列被输入处理模型中。作为变换,例如考虑以下中的一个或多个:主分量分析,主轴变换,奇异值分解,归一化,其中归一化是在图像范围内的图像信号的归一化或在信号序列范围内的图像信号的归一化,或包含两者。
39、由于变换后的信号序列被输入处理模型中,故例如可以在处理模型中简单分配或识别借助主轴变换或奇异值分解所提取的一定背景分量,由此该处理模型的训练明显改善。例如最好仅将变换后的信号序列的分量的一个子集输入处理模型中。
40、事实表明,在适当变换情况下、例如在主分量分析情况下,变换后数据中的第一分量产生很大方差、但对分开分析物无贡献。第一分量也可被解读为亮度,据此分量可归一化其余分量,或者第一分量可以被直接省掉。由于人们现在省掉第一分量,故省掉背景修正,由此在进一步分析中节约时间。
41、标注的数据组最好借助以下中的至少一个来生成:使用显微镜的代表性背景图像和已知的点扩展函数模拟不同标记物的信号,借助已基于相似数据训练过的生成模型来生成标注的数据组,拍摄参考图像,其包括至少一个背景图像以及关于每个背景图像针对每种分析物类型包括至少一个在其中各自分析物类型的分析物被标记的图像,执行经典的分析物空间鉴定方法,拍摄代表性背景图像并逐像素地从标注的数据组所依据的图像序列的图像信号中提取代表性背景图像的图像信号,随后提供标注的数据组,从而标注的数据组仅包括背景修正的信号序列。
42、所用生成模型可以例如是以下模型之一:主动外观模型(aam)、生成对抗网络(gan)、变分自编码器(vae)、自回归模型或扩散模型。
43、通过拍摄应对此在进一步进展中空间确定所含分析物的样本的代表性背景图像以及通过用显微镜的代表性背景图像和已知的点扩展函数来模拟标记物信号,可以通过简单方式足够精确地创建标注的数据组,从而存在与样本对应合适的标注的数据组,借此能训练合适的处理模型。
44、由于生成模型很好地适用于人工创建图像,故其人们通过用生成模型生成标注的数据组很高效地创建高质量的标注的数据组就够了。
45、由于人们拍摄包括背景图像以及关于每个背景包括至少一个在其中标记每个待鉴定分析物的图像的参考图像,故可以针对各自背景图像相应创建一个标注的数据组,因为在该图像范围内所有待鉴定分析物被标记且因此以简单方式可与背景图像区分开。
46、由于人们在创建标注的数据组前执行经典的分析物空间识别方法,故可以创建特别逼真的标注的数据组,于是,标注的数据组的创建虽然是计算很密集的,因为经典的评估方法是计算很密集的,但由于随后借助经典方法所确定的理论序列总是包含来自结果特征空间的记录,故匹配在这里很可靠。
47、由于人们从图像序列的图像信号中抽取代表性背景图像的图像信号,故处理模型可以忽略不同图像区中的不同背景且只需根据所出现的信号序列被训练。因此该处理模型应可以因在先减去代表性背景图像被更快速训练。
48、处理模型的训练最好是处理模型的完整学习或预先训练过的处理模型的变换学习。预先训练过的处理模型例如可以依据上下文信息从一组预先训练过的处理模型来找到。
49、由于处理模型是预先训练过的处理模型,故训练所用总时间可显著缩短。同时,由此在分配信号分量时高精度地训练极其专属的处理模型。
50、本发明的另一方面涉及一种确定图像序列的信号序列的信号组成的方法。该图像序列通过在多轮染色中用标记物标记分析物并用相机检测标记物来产生。相机在每轮染色中拍摄图像序列的一个图像。如此选择标记物,分析物信号序列在图像序列范围内在一个图像区中包括染色信号和未染色信号,不同分析物类型的信号序列分别具有染色信号和未染色信号的特定顺序,并且不同的分析物类型能依据该特定顺序被鉴定。该方法包括以下步骤:接收信号序列;读入码本,其中码本对于所有信号分量包括一个理论序列,该理论序列包括分析物理论序列,该分析物理论序列具有按照各不同分析物类型的信号序列的特定顺序的一系列真值和假值;针对每个信号序列确定信号组成,其中根据信号组成给信号分量分配各自信号序列的信号占比。
51、根据本发明,码本对于每种分析物类型包括一系列标记物,它们在各自染色轮中被偶联到各自分析物类型。
52、在常见的用于鉴定图像序列内的分析物的方法中,首先鉴别图像序列范围内的亮像点,自该系列的亮像点创建一个信号序列并且直接使该信号序列与码本内的信号序列匹配。作为结果,所述分析包括分析物类型,其最佳匹配于各自信号序列。在现有技术中未公开以下方法,将信号序列与多个分析物类型的混合体相比较并且例如输出多个分析物类型的混合比。
53、发明人已经认识到,在有许多信号序列的情况下能看到多个分析物的贡献。即,这些分析物彼此紧挨着位于样本内,从而它们因为显微镜分辨能力被映射到同一图像区。因为用于基于码本理论序列确定信号组成的方法给不同理论序列分别分配一个信号占比,故本方法允许分析多个图像区的信号序列并且坚定分析物类型,即便它们被映射同一图像区。这是无法用以上所引用的现有技术做到的。
54、信号组成优选依据信号占比函数来确定。信号占比函数获得各自信号序列与多个理论序列的线性组合支架差异。信号组成的确定通过依据信号占比优化信号占比函数来进行。
55、由于信号组成借助待优化的信号占比函数来确定,故可以通过简单方式确定信号组成。
56、信号占比函数的优化最好借助以下算法之一进行:非负矩阵因子化,主分量分析,判别函数,奇异值分解,或者经典的优化方法,尤其是凸优化、非凸优化、凹优化、线性优化或非线性优化,其中经典的优化方法伴随附加条件或无附加条件、最好伴随附加条件且尤其是边界条件地执行。
57、通过适当优化信号占比函数,可以用所述算法很好地确定信号组成。
58、优选最好在采用预定边界条件下进行。边界条件例如包括:信号占比可以为非负,理论序列中的项可以为非负,理论序列中的染色信号数量对于码本中的所有分析物类型被设定,例如作为固定值或间隔,染色信号数量对于每个理论序列被个别设定。
59、在实验期间内,码本内不同分析物类型的数量超过每个像点或每个图像区的测量值数量,即信号序列内的图像信号数量。因此,数学优化问题没有明确的解,人们也称其为提出问题不良。通过如上所述地选择合适的边界条件,可以将无解问题转为可解问题。所述边界条件在此情况下例如通过实际边界条件来设定,例如未出现给信号占比分配负值的实际含义,与理论序列项有意义地不具有负项一样少。
60、优化最好在使用正则化的情况下进行。正则化的正则化参数例如包括:预定最大数量的各不同信号分量,预期数量的分析物类型,分析物类型相互可组合性的限制,将优化限制到稀疏解,即它总是只具有码本信号占比的不同理论序列中的少量几个。
61、通过引入正则化(regularisierung),人们可以改变无法通过数学或仅很差地或无法明确地可解的问题,从而其可通过数学来解。
62、信号组成的确定优选包括:输入信号序列到处理模型中,其中处理模型例如根据上述的具有处理模型的机器学习系统的训练方法之一被训练成提供结果输出,从中对于每个信号分量确定关于各自信号序列的信号占比。
63、由于信号组成借助处理模型例如神经网络被确定,故能快速高效地确定信号组成。
64、处理模型优选是分类模型,结果输出对于每个信号序列是关于码本信号分量的概率分布,其分别说明属于其中哪个信号分量的概率并且基于概率分布确定信号占比。
65、由于处理模型是分类模型,其输出关于码本信号分量的概率分布,故人们例如可以将其概率高于阈值的所有信号分量鉴别为包含在信号序列中并且分别基于概率大小确定信号占比。通过使用分类模型,所述分配很简单。此外,也能依据结果直接读出处理模型在分配信号分量时有多可靠,这允许使用者在分配存疑时或许检查相应的分配,这是特别符合期望的。
66、结果输出最好基于处理模型的层输出乘以分析物矩阵。分析物矩阵基于码本理论序列。结果输出对每个信号分量提供一个由此确定信号占比的值。
67、由于结果输出借助简单的乘法来实现,故结果输出可以通过很简单的方式被确定。由于乘以分析物矩阵在网络中实现,故结果输出可以例如很高效地在图形卡或专用与机器学习的加速卡例如张量处理器或专用芯片上来计算。此外,结果输出仅借助矩阵乘法在最终折叠层中实现。人们可以和那简单地将结果输出的确定转移到新码本上,做法是人们用另一分析物矩阵图带该分析物矩阵,而不必重新训练处理模型。如果人们非专门用于识别染色信号和未染色信号地训练了处理模型,则人们因此训练了分析物不可知论模型,其能容易转换到新的分析物矩阵和进而新的特定顺序或新的分析物特异性样本上。
68、处理模型优选是分类模型,其中层输出包括概率分布,其给信号序列的每个图像信号分配一个将是染色信号的概率。理论序列是位序列,其对于每个预期染色信号包括一个真值且对于每个预期未染色信号包括一个假值。结果输出对于每个信号序列包括层输出的对应于理论序列的真值的概率值之和。基于所述和来确定信号占比。
69、由于处理模型是分类模型,其对于信号序列的每个图像信号输出各自图像信号是染色信号的概率并且在矩阵乘法中该概率正好乘以分析物矩阵,从而对于每个信号分量正好将对应于各自信号分量的真值的概率相加,较高的值、即较高的输出概率值和正好意味着更多更高的概率分别对应于理论序列的真值。故较高的和正好说明号序列中的理论序列的许多真值以很有可能是染色信号。因此人们通过所述和获知其中哪些信号分量占据信号序列信号的比例的简单程度。
70、处理模型优选是嵌入模型。嵌入模型确定信号序列和理论序列嵌入到嵌入空间,故层输出是结果嵌入并且分析物矩阵基于理论序列的嵌入。嵌入模型被训练成将某分析物类型的信号序列及其对应的理论序列映射到嵌入空间,使得对应于相同信号分量的各不同嵌入在嵌入空间内具有尽量小的间隔,并且对应于不同信号分量的嵌入具有尽量大的间隔。此外,具有多个信号分量的信号占比的信号序列的嵌入相对于各自多个信号分量的嵌入具有尽量小的间隔并且相对于其余信号分量的嵌入具有尽量大的间隔。
71、由于人们将嵌入模型训练成也嵌入具有多个信号分量的信号占比的信号序列以致与各自多个信号分量的嵌入的间隔为最小,故人们获得对于正好在特征空间内极其邻近各自信号分量的信号序列的具有多个信号分量的信号序列在嵌入空间内也是这样近,即在特征空间内的短距离被映射到嵌入空间内的短距离,因此特别简单地依据所确定的嵌入空间内间隔来确定由此组成具有多个信号分量的信号序列的各自信号分量。
72、在处理模型训练中最好采用标注的数据组,其对于许多待鉴别的分别例如对应于一种分析物类型的信号分量包括训练信号序列和对应的理论序列。在训练期间,不同信号分量的、即例如不同分析物类型的训练信号序列被线性组合,并且线性组合被输入处理模型中。对应的理论序列也被相应小线性组合并且在训练中用于计算目标函数。
73、由于所产生的训练信号序列由多个信号分量的信号序列组成,故人们可以有目的地训练处理模型以识别这种混合信号序列。这一方面对于作为指示模型来实现的处理模型有利,因为人们因此能目的明确地获得在处理模型中的适当实现。另一方面,人们兹也可以如上所述有目的地做到混合信号序列的嵌入。
74、此外,信号组成的确定最好包括以下步骤:借助群分析算法聚类提取的信号序列,其中预定群的数量至少等于信号分量的数量;对于每个群确定一个群中心;基于理论序列确定用于其中每个信号分量的至少一个理论群中心;对于每个群中心确定群中心与理论群中心的群间距;基于群间距将群分配给其中一个信号分量;对于每个信号序列确定与各自群中心的间距;基于该间距确定信号占比。
75、借助群分析,可以针对每个信号分量确定群。对于由多个信号分量组成的信号序列,应该在群分析的空间内将分别距由此组成信号序列的信号分量的距离最小化。因此可以通过确定距各自群中心的各自最小距离来确定信号分量占各自信号序列的占比。
76、各自距离最好是群分析空间中的欧几里德距离,或者该距离例如也可以与群内的值分散相关,例如基于分散被归一化。此外,在确定距离时也可以考虑各自信号序列的熵或者距离矢量的熵,其中距离矢量正好是信号序列在群分析空间内的位置时向与群中心在群分析空间内的位置矢量之间的矢量。
77、其中n个染色轮最好分别对应于一个标记轮,且每个分析物仅在一个标记轮的n轮染色之一中被检测,即,一个分析物仅偶联到n个标记物之一,其中n个标记物设计成在每个标记轮中分别仅有n个标记物之一偶联到每个分析物类型,n个标记物中每一个以另一颜色对比度来拍摄,例如在确定信号组成时作为边界条件考虑仅在一轮标记的n轮染色之一中用一个标记物标记一个分析物。
78、由于人们作为边界条件输入每个分析物类型仅在一个标记轮的n轮染色之一中与一个标记物偶联且因此仅在一轮标记的的n轮染色之一中可以是一个染色信号,故人们例如可以在优化中当人们在一个标记轮的n轮染色中在一个图像区或一个信号序列中获得超过一个的染色信号时直接推断出在多个分析物类型的各自信号序列中产生图像信号。
79、最好共执行n*m=k轮染色并相应拍摄下n*m=k个图像。一个信号序列因此包括k个图像信号,其中每个分析物类型在其中最多n轮染色中具有染色信号。在确定信号组成时,例如作为边界条件考虑仅在其中最多n轮染色中对于每个分析物类型或每个信号分量显示一个染色信号。
80、由于人们作为其它边界条件采用最多数量的染色信号,故还能而可靠进行信号组成的确定。
81、信号分量上下文信息最好加入信号组成的确定中。信号分量上下文信息在此包括以下中的至少一个:关于分析物类型在样本内的位置的信息,关于预期分析物类型的数量的信息,关于在样本一定区域内的某些分析物类型共存的信息,关于在样本一定区域内的分析物类型最大数量的信息,关于在样本不同区域内的背景部分的信息。
82、由于在确定图像区域时尤其采用关于所鉴别的分析物类型或信号分量的上下文信息,故也可以在鉴别信号序列的分析物类型之后总是还纠正确定时的修正或确定时的错误。
83、该方法最好在确定信号组成之前、尤其在输入信号序列至处理模型之前还包括执行该图像序列的图像信号的背景修正的步骤,其中该背景修正的执行包括以下当中的一个或多个:滚球法,过滤例如像礼帽法、同态过滤、低通过滤,其中从信号中抽取低通过滤结果,或者时间过滤,借助图像至图像模型的背景修正,借助混合模型的背景修正,借助平均偏移方法的背景修正,借助主分量分析的主背景修正,借助非负矩阵因式分解的背景修正,借助利用至少一个特异于图像序列所有图像区的激光的自体荧光激发的背景修正,其中特异激光正好对应于所用标记物的激发光谱区且分析物还未用标记物被标记,或者借助利用非特异于图像序列所有图像区的激光的自体荧光激发的背景修正。
84、由于该方法包括背景修正,故信号序列的图像信号可以无关地且因此更好地与背景信号分开,或者例如匹配时的计算支出减小,因为不必再考虑背景贡献。
85、优选在针对每个信号序列确定信号组成时也作为具有另一信号占比的其中另一信号分量考虑背景信号分量。
86、由于也在确定信号组成考虑背景信号分量,故例如可以在包括背景信号分量在内的信号分量的线性组合时很好地考虑背景,这进一步改善信号分量的鉴别。
87、背景信号分量最好从包围信号序列图像区的图像区的图像信号中确定且依据如此确定的背景信号分量来确定背景信号分量占信号序列的占比。
88、由于背景信号分量依据周围图像区独自针对每个信号序列被确定,故背景分量可以很可靠地根据周围背景来确定,这进一步改善信号占比的确定。
89、优选地,在针对每个信号序列确定信号组成时也作为具有另一信号占比的其中另一信号分量地考虑噪声分量。
90、由于噪声分量也在确定信号组成时予以考虑,故可以例如在包含噪声分量的信号分量的线性组合中很好地考虑所述组合的噪声,这进一步改善信号分量的确定。
91、该方法优选还包括图像信号的归一化,其中该归一化包括以下中的至少一个:归一化在整个图像范围内的图像信号,归一化在图像序列的所有图像范围内的图像信号,归一化在一个信号序列范围内的图像信号,归一化在一个信号序列范围内的图像信号,使得相对信号占比被确定,基于图像信号的颜色对比度归一化图像信号。
92、由于图像信号在确定信号组成之前被归一化,故人们例如在输出时获得与各不同信号分量的相对信号占比相关的更好相互关联。
93、图像区最好例如分别包括仅一个像点、连贯像点的面或在图像叠中的连贯体积。例如该号序列作为张量被输入处理模型,张量包括用于图像区内每个像点和每个染色轮的项。根据一个替代方案,图像区的相邻像点的值汇总为张量中的项。例如相邻像点的平均值、最大值、最小值和中值被输入。
94、由于人们将多个像点汇总为一个图像区,故人们可以降低信号序列评估时所需的计算能力。而逐像素的评估或许允许将紧挨着的分析物的信号分开,它们在汇总多个像点成一个图像区时将会仅以唯一的值相互融合,无法再相互分开。
95、由于人们依据预期分析物密度来选择图像区尺寸,故人们可以根据预期分析物密度来优化所需的计算能力。
96、相应地,图像区尺寸可以依据样本内预期分析物密度来选择。图像区尺寸优选可在整个图像范围内变化,分别取决于在图像区内预期分析物密度。
97、根据本发明,在输入信号序列到模型例如处理模型中时可以将一些图像区的信号序列输入到模型中,这是指模型的感受野于是只包括唯一图像区,但或者模型的感受野也可包括相邻图像区的信号序列。模型接着尤其依据感受野内的其它图像区的图像信号或信号序列处理各自图像区的信号序列。这也是指在图像区的图像信号或信号序列的处理中加入空间上下文,在此正好是属于模型的感受野的相邻图像区的图像信号或信号序列。
98、例如可以基于显微镜的点扩散函数来选择感受野中的图像区数量,使得感受野直径不大于、仅略微大于或例如是样本内的点因点扩散函数映射到其上的区域的直径的两倍。例如感受野是3x3、5x5、7x7、9x9、13x13或17x17图像区大小,但如果在染色轮中拍摄图像叠,则感受野也可以是3x3x3、5x5x5、7x7x7、9x9x9、13x13x13或17x17x17图像区大小。
99、该方法优选包括确定图像区域。图像区域的确定包括在相邻图像区具有带有相同信号分量的信号序列时汇总相邻图像区成一个图像区域,其中相邻图像区的汇总例如包括非最大值抑制。
100、通过汇总图像区到图像区域中和确定图像区域信号序列,可以显著降低图像序列评估时的计算支出。
101、图像区域的确定还包括图像区域的检查,其中图像区域的检查包括以下中的至少一个:当图像区域超出最大尺寸时将图像区域分为两个以上的图像区域;当图像区域分别仅通过几个桥接像点相连时和/或依据图像区域的形状可看到在此两个区域相交时将图像区域分为两个以上的图像区域;基于信号分量上下文信息分开图像区域,其中信号分量上下文信息例如包括关于与分析物类型相关的图像区域尺寸的信息,关于样本内的图像区域的位置的信息,关于在样本的某些区域或一层内某些分析物类型共存的信息,关于与样本内的图像区域位置相关的预期分析物密度的信息;当图像区域小于最小尺寸或所具有的形状无法被可靠分配给分析物类型时舍弃图像区域。
102、图像区域的最大尺寸最好取决于成像装置的点扩展函数来选。
103、另外,最大尺寸也可以依据预期分析物密度来选,使得在预期有高的分析物密度的情况下该最大尺寸尽量小,而在预期有低分析物密度的情况下允许较大的最大尺寸。最大尺寸可以总是对应于图像语义分割来选。
104、由于最大尺寸基于拍摄装置的点扩展函数来选,故图像区域的尺寸能最佳匹配于一种分析物的信号的预期伸展尺度。因此人们不耗用不必要的计算能力,因为人们分析太多的信号序列,此外通过依据点扩展函数选择最大尺寸来阻止过粗略的扫描。
105、由于人们根据一定标准分开或舍弃图像区域,故不仅在检查各自图像区域的信号序列是否是候选信号序列时、也在鉴定信号序列的分析物类型时显著降低所需的计算能力,另外可以依据所述分开来避免当预期分析物密度很高时采集一个图像区域内的多个、尤其多个不同的分析物类型。
106、图像区域的确定优选包括:基于由此组合成图像区域的图像区的信号序列确定图像区域信号序列,其中信号组成的确定依据图像区域信号序列进行并包括将相邻图像区的图像信号的汇总成图像区域的组合图像信号。
107、图像区域的确定最好在针对每个信号序列确定信号组成之后进行。
108、由于图像区域的确定在信号组成确定之后进行,故保证了例如在确定信号组成之后也还能进行图像区域的分开,例如当在一个图像区域中找到如此多的染色信号,以致有可能在该图像区域中采集到许多分析物的图像信号。相应地,图像区域的分开允许更好地确定信号序列的信号组成。
109、信号组成的确定最好包括非最大值抑制。
110、由于借助非最大值抑制能双重过滤掉某些信号组成,故可以防止例如吃相交或相邻的图像区被两次列举为所找到的分析物。
111、信号占比最好说明各自信号分量的图像信号占信号序列的图像信号的相对比例。
112、由于各自信号分量的信号占比作为图像信号的相对比例被输出,故人们可以确定各自对应于各自信号分量的分析物的比例。
113、信号占比最好是各自分量占图像信号的绝对比例。
114、优选地,首先如上所述地用处理模型确定信号组成,所确定的信号占比随后作为初始值被用于上述的作为线性组合的信号占比优化信号占比函数,并且基于上述的信号占比函数优化方法重新确定信号组成。
115、由于人们首先借助处理模型来确定具有占信号序列的一定信号占比的信号分量且随后借助优化方法通过优化信号占比函数来重新确定信号占比,故人们获得与只将处理模型用来确定信号占比时相比明显更精确确定的信号占比,此外明显减速所述优化,因为人们从借助处理模型所确定的信号占比起执行并且将借助处理模型所确定的信号分量及其信号占比作为附加条件用在优化中,由此求解变得简单、更好可解或明确可解。
116、此外,该方法优选包括以下步骤:基于一定信号占比生成扩展的标注的数据组,并且至少以该扩展的标注的数据组为标注的数据组地执行上述的机器学习系统训练方法。
117、通过用经过验证的数据扩展标注的数据组,处理模型的训练可被连续改善。
118、信号序列的提取最好包括以下中的至少一个:提取该图像序列的所有图像区;提取该图像序列的图像区的随机选项;提取该图像序列的图像区的以图像区的结构特性加权的选项,例如以对于细胞、胞核、细胞空隙和亮像点的较高概率;只从具有最低图像清晰度的图像区提取图像区;跳过预期没有分析物的图像区。
119、通过如上所述巧妙地提取图像区,可以显著降低在评估图像序列的图像信号时的支出。
120、优选地,处理模型是人工选择或自动选择的。例如自动选择依据上下文信息进行,上下文信息例如包含样本类型、实验类型或用户id。
121、另外,提取优选包括以下步骤:从提取的信号序列中滤除候选信号序列,其中候选信号序列的染色信号和/或未染色信号中的至少一个与各自信号序列的染色信号和/或未染色信号中的至少另一个的比例是表征比例和/或候选信号序列具有包括该至少一个表征比例的表征标记,从而当信号序列具有至少一个表征比例和/或表征标记时将该信号序列评定为候选信号序列。
122、根据现有技术,在图像序列中鉴别如下像点,其具有高于某个阈值的图像信号。该阈值总是在局部在图像序列的一个图像中被确定。发明人已发现,抛开图像序列中的提供很亮的图像信号的分析物不算,还有其它的分析物,其图像信号仅不显著地与像点紧邻周围环境内的图像信号区分开。这种候选信号序列可以依据染色信号和/或未染色信号相互一定比例或依据在信号序列内的包括至少一个一定比例在内的表征标记来鉴别。由于候选提取模型被训练成依据一定比例识别或依据包括所述至少一个一定比例的表征标记来鉴别在信号序列内的候选信号序列以及染色信号和未染色信号,故借助本方法也可以找到样本内的如下分析物,其尽管用标记物做了标记但在至少其中几轮染色中仅比信号序列的其余信号的亮度和周围像点的亮度略减退。
123、优选地,滤除候选信号序列借助候选提取模型来实行,其中候选提取模型例如依据样本类型、实验类型或用户id从一组候选提取模型中被找出。
124、由于机器可读候选提取模型被用于鉴别候选信号序列或鉴别分析物区,故可以很高效地在图像序列中鉴别分析物区或候选信号序列。
125、候选提取模型最好被训练成依据各自信号序列的染色信号和/或未染色信号之一与各自信号序列的染色信号和/或未染色信号中至少另一个的至少一个一定比例来鉴别染色信号和未染色信号和/或分别依据包括所述至少一个一定比例的表征标记鉴别候选信号序列。
126、发明人已经发现,在其中获得分析物图像信号的图像区的信号序列分别具有在各自信号序列的染色信号和/或未染色信号之间的至少一个一定比例,由此针对候选信号序列得到一个表征标记,其包括所述染色信号和/或未染色信号的至少一个一定比例。依据该一定比例,信号序列中的染色信号和未染色信号可以被识别且因此也确定信号序列中的染色信号数量。依据所述一定比例或表征标记,候选提取模型可被训练成鉴别在图像序列的信号序列中的染色信号和未染色信号以及候选信号序列,因此候选提取模型学习识别信号序列的图像信号中的一定样式。由于首先从所有信号序列中滤除一个候选区的信号序列,随后使各自信号序列与相应的理论序列匹配以确定分析物类型或各自分析物各自候选区或候选信号序列的结果类别,故在确定候选区分析物类型时的计算支出可被显著降低,因为只需使少许多的信号序列匹配于一个码本。
127、候选提取模型优选是语义分割模型,其所输出的语义分割掩膜给每个图像区分配一个说明图像区图像信号是否获得分析物的语义类别。
128、分割掩膜最好包括超过两个的类别。例如一个类别是一开始就未找到候选信号序列,一个类别是给图像区分配背景,一个类别是具有在其中找到候选信号序列的图像区。或者,分割掩膜也可以具有在此能找到候选信号序列的多个类别,其中每个所述类别例如仅具有一定的候选信号序列或者各不同分析物类型的相互间一定比例。
129、由于候选提取模型是语义分割模型,故可以依据根据语义分割模型所分配的各自图像区类别在跟在候选信号序列鉴别后的结果类别鉴别中与由语义分割模型所分配的类别对应地仅根据所述类别使信号序列匹配于码本,由此在匹配时能进一步节约计算资源,因为例如只需比较其中少量理论位序列。
130、由于分割掩膜包括多于两个的类别,故例如细胞内的图像区可以直接由模型识别,接着在该图像区中根本无法找到候选信号序列,由此该方法被进一步加速且进一步节约计算能力。
131、候选提取模型优选是补丁分类器,其借助滑窗方法给每个图像区分配所述值。
132、候选提取模型最好是完整折叠网络或作为具有完整相连层的分类模型以若干图像区的信号序列来训练,其中分类模型在训练之后通过由折叠层取代完整相连层被转入完整折叠网络中,其同时处理图像序列的所有图像区的信号序列。
133、由于为了训练候选提取模型而采用具有完整相连层的分类模型,故在训练中所需的计算能力显著降低,从而训练可以被显著加速,以便分类模型的优化的模型参数可随后被用在完整折叠网络中。由于图像序列的绝大部分图像区未获得分析物的信号且因此属于背景图像区,故在此时肯定总是会输入完整图像的作为完整折叠网络的训练时训练看起来很不平衡,因为来自背景图像区的信号序列与具有分析物图像信号的信号序列之间的比例被来自背景图像区的信号序列统治。因而,作为完整相连网络的训练允许通过适当地平衡选择背景图像区和获得分析物信号的图像区的信号序列来平衡训练数据,使得候选信号序列的鉴别也被充分训练。接着可以在推断中采用完整折叠网络,其又提高网络流量。
134、根据一个替代方案,候选提取模型也能直接作为完整折叠网络来训练。
135、候选提取模型最好是图像至图像模型,其执行图像至图像映射,其给每个图像区分配间隔值,间隔值说明图像区离具有候选信号序列的下一图像区有多远,或给每个像点分配一个将会是具有候选信号序列的图像区的概率。
136、由于候选提取模型是图像至图像模型,故可以在依据目标输出鉴别被用于信号序列与码本目标序列匹配的信号序列时以简答女方是设定一个阈值,从而例如在模型推断中首先选择具有尽可能小的间隔值或极可能大的概率值的信号序列,随后以增大的间隔值或降低的概率值一直推断,直到所找到的分析物的数量对应于所找到的分析物的预期数量。
137、候选提取模型优选作为探测模型来实现且输出获得分析物图像信号的图像区的名单。
138、在此情况下,图像坐标包括空间和时间组成,因为图像序列不仅具有空间坐标,也具有时间坐标。
139、由于候选提取模型以探测模型的形式实现,故候选提取模型的输出正好在占位率低的情况下仅包括很少量的数量,故耗用少量数据。
140、该方法优选在检查信号序列是否是候选信号序列之前还包括“借助主轴变换或奇异值分解变换信号序列”的步骤,其中变换后的信号序列被用在检查信号序列是否是候选信号序列之中。
141、由于变换后的信号序列被输入候选提取模型中,故例如借助主轴变换或奇异值分解可被简单地从变换后的信号序列中去除的某些背景组成近似通过所述变换已经在输入到模型之前被消除,由此能简单地由模型识别染色信号和未染色信号或者说候选信号序列。
142、优选地,图像区或是分别仅分配有一个像点、连贯像点的面或图像叠总的连贯体积,其中图像区的图像信号作为张量被输入候选提取模型。
143、由于人们将多个像点汇总成一个图像区,故可以降低信号序列评估时所需的计算能力。而逐像点评估或许需要划分紧密并排的图像区,其在汇总多个像点时将会相互融合。
144、相应地,图像区尺寸可以依据样本内的预期分析物密度来选择。图像区尺寸优选可以在整个图像范围内变化,分别取决于在图像区内预期的分析物密度。
145、由于人们根据预期分析物密度来选择图像区尺寸,故人们可以根据预期分析物密度来优化所需计算能力。
146、处理模型和候选提取模型最好形成具有共同输入层的共同的分配模型。
147、候选提取模型和处理模型的其中多个层最好包括共同输入层在内形成共同输入干,在其中所述信号序列共用于候选提取模型和处理模型地被处理。
148、信号序列优选首先由候选提取模型处理且被鉴别为候选信号序列的信号序列接着被处理模型处理以给候选信号序列分配结果类别。或者,信号序列在两个模型中被彼此无关地处理。
149、由于人们在具有共同输入层的共同模型中实现候选信号序列提取和候选信号序列匹配于结果类别,故可以如此/如下简化信号序列的处理,只需使用一个模型、即分配模型。
150、由于处理模型和候选提取模型共用所述共同输入层,故在共同输入干中进行的计算只需计算一次,这带来速度优势。
151、分配模型的两个模型的输出最好在最终分配步骤中与分配模型无关地被组合。
152、或者,两个模型的输出在分配模型的输出层中被如此组合,未被候选提取模型鉴别为候选信号序列的信号序列被自动分配给一个对应于背景的结果类别,被鉴别的候选信号序列与处理模型分配对应地被分配给一个对应于分析物类型的结果类别。
153、由于人们在最后输出层中组合分配模型的两个模型的输出,故也可禁止在分配模型外的或许复杂的分配,这进一步加速所述分配。
1.一种用于训练具有处理模型的机器学习系统的方法,其中,所述处理模型被训练用于确定图像序列(19)的图像区(25)的信号序列(31)的信号组成,其中,所述信号组成包括用于各不同待鉴别的信号分量的信号占比,所述图像序列(19)通过在多轮染色中利用标记物标记分析物(39)并且利用相机(12)检测所述标记物来产生,所述相机(12)在每轮染色中拍摄所述图像序列(19)的一个图像(5),所述标记物被选择成,使得分析物(39)的信号序列(31)在一个图像区(25)中在所述图像序列(19)的范围内包括染色信号和未染色信号,分析物(39)的所述信号序列(31)的所述染色信号和所述未染色信号具有各自信号序列(31)的其中一个染色信号和/或未染色信号与各自信号序列(31)的至少其中另一个染色信号和/或未染色信号的至少一个一定比例,和/或分析物(39)的所述信号序列(31)具有包括所述至少一个一定比例的表征标记,包括:
2.根据权利要求1所述的方法,其中,所述标注的数据组还包括背景图像区(26)的输入信号序列,其中,所述背景图像区(26)是所述图像序列(19)的图像区(25),在所述图像区(25)中未获得分析物(39)的信号,并且所述目标输出对于所述背景图像区(26)在所述信号分量集合中形成至少一个自身信号分量。
3.根据前述权利要求1或2所述的方法,其中,所述处理模型是分类模型,所述结果输出说明所述输入信号序列的所述信号分量的信号占比,或者所述结果输出是概率分布(40),其分别说明属于其中一个所述信号分量的概率,并且所述目标函数获得所述结果输出与所述目标输出之间的差异。
4.根据前述权利要求1至3中任一项所述的方法,其中,目标函数的优化分多轮进行,并且在其中几轮中改变其中一个所述输入信号序列的染色信号和未染色信号的顺序,使得改变后的顺序对应于待鉴定分析物类型中的另一个的顺序,并且相应对应于所述改变后的顺序的目标输出被用在所述目标函数的优化中。
5.根据前述权利要求1至4中任一项所述的方法,其中,所述目标函数是分类损失,并且所述结果输出对于每一项具有在0和1之间的值,所述值说明各自信号序列(31)在此具有各自信号分量的信号占比的概率。
6.根据前述权利要求1或2所述的方法,其中,所述目标输出是理论位序列(35),所述目标输出对于所述输入信号序列中的每个染色信号包括一个真值,并且对于每个未染色信号包括一个假值。
7.根据前述权利要求6所述的方法,其中,所述目标输出对于背景图像区(26)的信号序列(31)只包括假值。
8.根据权利要6或7所述的方法,其中,所述结果输出是结果位序列,其中,所述处理模型被训练用于给所述输入信号序列中的每个染色信号分配一个真位,并且给所述输入信号序列中的每个未染色信号分配一个假位,并且所述目标函数获得所述结果位序列与所述目标输出之间的差异。
9.根据权利要求6或7所述的方法,其中,所述结果输出是概率分布(40),在其中给所述输入信号序列的每个图像信号分配一个图像信号是否是染色信号的概率,并且所述目标函数获得所述结果输出与所述目标输出之间的差异。
10.根据前述权利要求6至9中任一项所述的方法,其中,所述结果输出对于其中每个所述项具有在0和1之间的值,所述值说明在此是否获得了染色信号的概率。
11.根据前述权利要求1至10中任一项所述的方法,其中,所述处理模型是完整折叠网络(37),所述处理模型或是作为具有完整相连层的分类模型以这些图像区(25)的输入信号序列(31)被训练过,或是直接作为完整折叠网络来训练,并且所述分类模型在训练后通过用折叠层取代完整相连层被转移到所述完整折叠网络(37)中,所述完整折叠网络能同时处理所述图像序列(19)的所有图像区(25)的所述输入信号序列(31)。
12.根据前述权利要求2至11中任一项所述的方法,其中,所述目标函数的计算包括:
13.根据权利要求6或7所述的方法,其中,所述处理模型是嵌入模型,其针对所述嵌入输入确定嵌入到一个嵌入空间,所述嵌入输入包括所述输入信号序列和所述目标输出,所述结果输出包括所述输入信号序列的嵌入,目标嵌入包括所述目标输出的嵌入,并且所述目标函数的优化同时将相同信号分量的嵌入输入的嵌入之差最小化并且将基于不同信号分量的嵌入输入的嵌入之差最大化。
14.根据前述权利要求6至13中任一项所述的方法,其中,目标函数的优化分多轮进行并且在其中几轮中包括所述输入信号序列的随机化,其中,所述随机化包括以下中的一个或多个:
15.根据前述权利要求1至14中任一项所述的方法,其中,所述目标函数的优化分多轮进行并且在其中几轮中包括所述输入信号序列的增强,其中,所述增强包括以下中的一个或多个:
16.根据前述权利要求中任一项所述的方法,其中,所述输入信号序列借助变换被变换为变换后的输入信号序列,并且所述变换后的输入信号序列被输入所述处理模型中,其中,所述变换尤其包括以下中的一个或多个:
17.根据前述权利要求中任一项所述的方法,其中,所述标注的数据组是借助以下步骤中的至少一个生成的:
18.一种利用分析物数据评估系统(1)确定图像序列(19)的信号序列(31)的信号组成的方法,其中,所述图像序列(19)通过在多轮染色中利用标记物标记分析物(39)并且利用相机(12)检测所述标记物来产生,所述相机(12)在每轮染色中拍摄所述图像序列(19)的一个图像(5),如此选择所述标记物,即,分析物(39)的信号序列(31)在所述图像序列(19)的范围内在一个图像区(25)中包括染色信号和未染色信号,不同分析物类型的信号序列(31)分别具有染色信号和未染色信号的特定顺序,并且不同的分析物类型能依据所述特定顺序被鉴定,包括:
19.根据权利要求18所述的方法,其中,所述信号组成依据信号占比函数来确定,其中,所述信号占比函数获得所述信号序列(31)与其中多个理论序列的线性组合之间的差异,并且所述信号组成的确定还包括依据所述信号占比优化所述信号占比函数。
20.根据前述权利要求18或19所述的方法,其中,所述信号占比函数的优化借助以下算法中的至少一个进行:经典的优化算法、非负矩阵因子化、主分量分析、判别函数或者奇异值分解。
21.根据前述权利要求18至20中任一项所述的方法,其中,所述优化依据预定附加条件进行。
22.根据前述权利要求21所述的方法,其中,所述附加条件包括以下中的至少一个:
23.根据前述权利要求22所述的方法,其中,所述优化依据正则化进行。
24.根据前述权利要求23所述的方法,其中,所述正则化包括以下中的至少一个:
25.根据权利要求18所述的方法,其中,信号组成的确定包括:输入所述信号序列(31)到处理模型中,其中,所述处理模型例如按照根据权利要求1至17所述的其中一种方法被训练用于提供结果输出,从所述结果输出中针对每个信号分量确定关于各自信号序列(31)的所述信号占比。
26.根据权利要求25所述的方法,其中,所述处理模型是分类模型,所述结果输出对于每个信号序列(31)是关于待鉴别信号分量的概率分布(40),其分别说明属于其中一个待鉴别信号分量的概率,并且所述信号占比基于所述概率分布(40)来确定。
27.根据前述权利要求25所述的方法,其中,所述结果输出基于所述处理模型的层输出乘以分析物矩阵,其中,所述分析物矩阵基于所述码本(23)的理论序列,并且所述结果输出对于每个信号分量提供一个自此确定所述信号占比的值。
28.根据权利要求27所述的方法,其中,所述处理模型是分类模型,其中,所述层输出包括概率分布(40),其给信号序列(31)的每个图像信号分配一个会是染色信号的概率,所述理论序列是位序列,其对于每个预期的染色信号包括一个真值并且对于每个预期的未染色信号包括一个假值,并且所述结果输出对于每个信号序列(31)包括对应于理论序列的真值的层输出的概率值总和,并且所述信号占比基于所述总和被确定。
29.根据权利要求27所述的方法,其中,所述处理模型是嵌入模型,其分别确定所述信号序列(31)和理论序列嵌入到嵌入空间,使得所述层输出是结果嵌入并且所述分析物矩阵基于理论序列的嵌入,其中,所述嵌入模型被训练用于将一定分析物类型的信号序列(31)及其对应的理论序列映射到嵌入空间,使得对应于相同信号分量的各不同嵌入具有在嵌入空间内的尽量小的间隔,对应于不同信号分量的嵌入具有尽量大的间隔,并且具有多个信号分量的信号占比的信号序列(31)的嵌入距各自多个信号分量的嵌入有尽量小的间隔并且距其余信号分量的嵌入有尽量大的间隔。
30.根据前述权利要求25至29中任一项所述的方法,其中,在训练所述处理模型时采用了标注的数据组,其对于多个待鉴定分析物类型包括训练信号序列和对应的理论序列,并且在训练中线性组合不同分析物类型的训练信号序列和对应的理论序列,以便也针对混合信号序列训练处理模型。
31.根据权利要求19所述的方法,其中,信号组成的确定包括:
32.根据前述权利要求中任一项所述的方法,其中,其中的n轮染色分别对应于一个标记轮,并且每种分析物类型仅在一个标记轮的n轮染色之一中被检测,其中,如此设计n个标记物,即,在每个标记轮中分别仅将n个标记物之一偶联到每个分析物类型,n个标记物中的每一个标记物以另一颜色对比度被记录下来并且例如在确定所述信号组成时作为边界条件考虑仅在一个标记轮的n轮染色之一中用一个标记物标记一个分析物(39)。
33.根据权利要求32所述的方法,其中,共执行n*m轮染色,并且相应拍摄下n*m个图像(5),并且一个信号序列(31)包括n*m个图像信号,其中,每个分析物类型在其中最多m轮染色中具有染色信号并且例如在确定所述信号组成时作为边界条件考虑仅在其中最多m轮染色中用一个标记物标记一个分析物(39)。
34.根据前述权利要求中任一项所述的方法,其中,在信号组成的确定中加入信号分量上下文信息,其中,所述信号分量上下文信息包括以下中的至少一个:
35.根据前述权利要求中任一项所述的方法,其中,所述方法在确定信号组成之前还包括执行所述图像序列(19)的所述图像信号的背景修正的步骤,其中,所述背景修正的执行包括以下当中的一个或多个:
36.根据前述权利要求中任一项所述的方法,其中,在针对每个所述信号序列(31)确定信号组成时,背景分量也作为其中另一个信号分量随另一信号占比而来。
37.根据前述权利要求中任一项所述的方法,其中,在针对每个所述信号序列(31)确定信号组成时,噪声分量也作为其中另一个信号分量随另一信号占比而来。
38.根据前述权利要求中任一项所述的方法,其中,所述方法还包括所述图像信号的归一化,其中,所述归一化包括以下中的至少一个:
39.根据前述权利要求中任一项所述的方法,其中,所述图像区(25)例如分别包括仅一个像点、连贯像点的面或在图像叠中的连贯体积,例如所述信号序列(31)是张量,包括用于所述图像区(25)内每个像点和每个染色轮的项,或者相邻像点的值在汇总项中加入所述张量中。
40.根据前述权利要求中任一项所述的方法,所述方法还包括确定图像区域,所述图像区域的确定包括在相邻的图像区(25)具有带有相同信号分量的信号序列(31)时将相邻的图像区(25)汇总成一个图像区域,其中,相邻的图像区(25)的汇总例如包括非最大值抑制。
41.根据权利要求40所述的方法,其中,图像区域的确定还包括:图像区域的检查,其中,所述图像区域的检查包括以下中的至少一个:
42.根据前述权利要求41所述的方法,其中,图像区域的最大尺寸依据成像装置的点扩展函数来选。
43.根据权利要求40至42所述的方法,其中,图像区域的确定还包括:
44.根据前述权利要求40至43中任一项所述的方法,其中,图像区域的确定在针对每个信号序列(31)确定信号组成之后进行。
45.根据前述权利要求18至44中任一项所述的方法,其中,信号组成的确定包括非最大值抑制。
46.根据前述权利要求中任一项所述的方法,其中,所述信号占比说明各自信号分量的所述图像信号占所述信号序列(31)的所述图像信号的相对比例。
47.根据前述权利要求中任一项所述的方法,其中,所述信号占比说明各自信号分量的图像信号占所述信号序列(31)的所述图像信号的绝对比例。
48.根据前述权利要求29至47中任一项所述的方法,其中,在所述信号组成确定之后将某些信号占比作为初始值用于信号占比函数的优化,并且接着所述信号占比函数的优化重新借助按照根据权利要求19至24所述的方法用所述初始值来确定信号占比。
49.根据前述权利要求29至48中任一项所述的方法,所述方法还包括:
50.根据前述权利要求18至49中任一项所述的方法,其中,所述信号序列(31)的接收包括以下中的至少一个:
51.根据前述权利要求中任一项所述的方法,其中,所述图像序列(19)还另外包括在所述方法期间所用的上下文信息,其中,所述上下文信息例如包括:
52.根据权利要求51所述的方法,其中,从一组处理模型中找到所述处理模型,其中,所述处理模型例如依据上下文信息或样本类型、实验类型或用户id是人工选的或自动选择的。
53.根据前述权利要求25至52中任一项所述的方法,其中,从一组预先训练过的处理模型中找到所述处理模型,其中,所述选择例如依据上下文信息进行、自动进行或由使用者选择,这组处理模型优选由使用者本地持有、基于制造商的模型目录或由所述制造商线上持有,并且所述处理模型尤其根据前述方法1至17中任一项被训练过。
54.一种用于评估图像序列(19)的图像(5)的评估装置(4),所述评估装置(4)尤其被设计成分析物数据评估系统(1),包括用于执行根据前述权利要求中任一项所述的方法的装置。
55.一种图像处理系统(1),所述图像处理系统(1)包括根据前述权利要求54所述的评估装置(4),尤其包括图像产生装置如显微镜(2)。
56.一种计算机程序产品,所述计算机程序产品包括指令,所述指令在通过计算机运行程序时促使计算机执行根据前述权利要求1至53中任一项所述的方法,所述计算机程序产品尤其是计算机可读存储介质。
57.一种分析物数据评估系统(1),所述分析物数据评估系统(1)包括评估装置(4),其中,所述评估装置(4)包括处理模型,所述处理模型按照根据前述权利要求1至17中任一项所述的方法被训练过,尤其包括图像产生装置如显微镜(2)。