本发明一般涉及对紫外照射下的样本的荧光和自发荧光发射的断层扫描成像。具体地，本发明涉及deep-trust，其使用神经网络来处理trust图像，以进一步提高成像分辨率和减少成像时间。
背景技术：
1、以高分辨率获取大型生物样本的3d信息仍然费力且耗时。对于大多数3d荧光显微镜，大样本的组织制备的时间成本可能非常高(例如，整个小鼠大脑透明化或染色大约需要2周)[5]-[8]。此外，一些组织处理方案可能会引起副作用，并降低成像质量。对整个器官染色，需要优化所有涉及的化学或物理参数，才能实现样本的中心和外围两个区域一致的染色程度，这对于具有不同的组织类型或大小的样品而言很困难。至于光学透明化，仍然存在一些挑战，例如样本的形态扭曲[9]和试剂的毒性[10]。最后，一些成像系统需要将扫描的样本嵌入树脂[11]、[12]或石蜡[13]块中，导致额外的时间成本和由于脱水而导致的样本收缩不均匀。
2、对于无标记成像系统，组织染色是不必要的，但必须解决其他几个问题。首先，成像特异性可能较低。例如，软组织(例如肌肉)的成像对比度对于微型ct来说可能是有问题的[14]、[15]。而且，即使算上染色时间，无标记成像系统的整个实验时间成本也不一定低于荧光成像系统的实验时间成本。例如，光片显微镜[16]对于整个小鼠大脑成像大约需要两周的时间(包括透明化、染色和光学扫描)，而无标记光声显微镜[17]需要大约2个月的时间。
3、本领域需要一种减少图像采集时间同时以低成本保持高成像分辨率和高成像内容的成像技术。
技术实现思路
1、本发明涉及deep-trust，其涉及在原始trust图像上应用神经网络来增强图像分辨率，或通过单次拍摄实现虚拟光学切片。结果，有利地减少了图像扫描时间。
2、本发明的第一方面是提出利用uv激发对样本进行断层扫描成像的第一方法，用于生成3d荧光体积。第一方法用于deep-trust系统。它涉及以相对较低的分辨率对样本进行成像，然后利用超分辨神经网络将lr trust图像转换为hr trust图像，这可以增强输入图像的分辨率，以及减少图像扫描时间。
3、第一方法包括：(a)对组织块的暴露表面层进行切面成像，其被浸入染色溶液中并用紫外光照射以产生lr荧光和自发荧光图像；(b)使用cgan将lrtrust图像转换为hr trust图像，其中cgan还可以替换为被配置和训练以增强输入图像的分辨率的其他sr神经网络，从而与直接获取hrtrust图像相比减少图像扫描所需的时间；(c)用机械切片去除组织块的成像表面层并暴露下方/相邻层；以及(d)多次重复上述步骤(a-c)，以获取被成像样本的整个3d体积。
4、sr神经网络可以是srgan、esrgan、car或另一种sr深度学习网络。
5、优选地，esrgan应用于演示。
6、在某些实施例中，第一方法还包括用训练数据集训练cgan(例如，esrgan)。训练数据集包括多个训练样本。单个训练样本包含lr和hr trust图像的配对示例。
7、在某些实施例中，第一方法还包括在图像扫描之前对单独的切面进行染色。
8、在某些实施方案中，染色溶液含有荧光生成探针(例如，dapi和pi)。
9、在某些实施例中，每个切面是样本的暴露表面，并且通过对样本进行连续切片来获得多个切面。
10、在某些实施例中，对单独的切面的荧光和自发荧光的成像包括：对单独的切面进行网格化以形成多个待成像的fov；以及对该多个fov一一进行光栅扫描，以生成lr trust图像，其中，每个fov在成像期间受到紫外光照射。
11、本发明的第二方面是提供第二方法，其用于利用uv激发对样本进行断层扫描成像，以产生具有更高成像速度和更好轴向分辨率的3d荧光图像。该第二方法—其也可用于deep-trust系统—采用另一种深度学习神经网络来实现虚拟光学切片，并以单个普通trust图像作为输入来生成虚拟的patterned-trust图像。不需要为每个fov在不同的紫外光照明条件(例如，均匀照明和散斑照明)下获取多个trust图像，从而减少了成像时间。
12、该第二方法包括：(a)对样本的暴露表面层进行焦点扫描，其被浸入染色溶液下，并用紫外光照射以产生trust图像；(b)用机械切片去除组织块的成像表面层并暴露下方/相邻层；(c)多次重复上述步骤(a-b)以形成3d荧光/自发荧光图像体积。
13、具体地，对暴露的表层进行焦点扫描包括：(a)获取在均匀紫外光照明下的单独的切面的荧光和自发荧光的trust图像；和(b)使用第一cgan处理trust图像以产生虚拟光学切片的trust图像(虚拟patterned-trust图像)，无需在散斑照明条件下获得第二输入图像，从而与hilo显微镜相比减少了所需的时间；(c)轴向地移动光学成像系统和/或组织样本一段距离，优选为光学切片厚度的一半；(d)多次重复上述步骤(a-c)，以产生一系列虚拟patterned-trust图像。
14、在某些实施例中，第二方法还包括用第一训练数据集来训练第一cgan(例如，esrgan)，其中，每个训练样本包括trust图像和对应的光学切片的trust图像的配对示例。
15、在某些实施例中，获得trust图像包括对用均匀紫外光照射的单独的切面的荧光和自发荧光进行成像。对均匀紫外光照射下的单独的切面的荧光和自发荧光发射进行成像可以包括：对单独的切面进行网格化，以形成多个待成像的fov；对该多个fov逐一进行光栅扫描，以生成trust图像，其中，每个fov在成像期间受到均匀的紫外光照射。
16、在某些实施例中，获得trust图像包括：对单独的切面的荧光和自发荧光进行成像，以在均匀的紫外光条件下产生lr trust图像；以及使用第二cgan(例如，esrgan)来处理lr trust图像以产生hr trust图像，其中第二cgan是sr神经网络，其被配置和训练为增强输入图像的分辨率，从而与直接获取hr trust图像相比减少扫描时间。
17、第二cgan可以选择为srgan、esrgan、car或另一个sr深度学习网络。
18、在某些实施例中，第二方法还包括用第二训练数据集训练第二cgan。第二训练数据集包括多个第二训练样本。单独的第二训练样本包括lr trust图像和hr trust图像的配对示例。
19、在均匀紫外光条件下对荧光和自发荧光发射进行成像可以包括：将单独的切面进行网格化以形成多个待成像的fov；以及对多个fov逐一进行光栅扫描以生成荧光图像，其中，每个fov在成像期间受到紫外光照射。
20、在某些实施例中，第二方法还包括在图像扫描之前用染色溶液对单独的切面进行染色以进行标记。
21、在某些实施方案中，荧光生成探针(例如，dapi和pi)优选地用于对单独的切面进行染色。
22、在某些实施例中，每个切面是样本的暴露表面，并且通过对样本连续切片来制备多个切面。
23、本发明的第三方面是提供一种用于在uv照射下对样本进行断层扫描成像以产生3d体积荧光图像的系统，其中该系统实施如上所述的第一和第二方法的实施例中的任何实施例。所公开的系统是deep-trust系统。
24、该系统包括成像子系统和一台或多台计算机。该成像子系统被实现为trust系统或patterned-trust系统，并且用于在uv照明下对样本进行成像。一台或多台计算机用于控制成像子系统并获得3d荧光图像体积。具体地，一台或多台计算机被配置为实现第一或第二方法的期望实施例。
25、本公开的其他方面通过下文的实施例进行说明来公开。
1.一种利用紫外线(uv)激发对样本进行断层扫描成像以产生三维(3d)荧光/自发荧光图像体积的方法，所述方法包括：
2.根据权利要求1所述的方法，其中，所述条件式生成对抗网络可以是超分辨率生成对抗网络(srgan)、增强型超分辨率生成对抗网络(esrgan)、内容自适应重采样器(car)或任意其他的超分辨(sr)深度学习网络。
3.根据权利要求1所述的方法，其中，所述条件式生成对抗网络被配置为深度学习神经网络。
4.根据权利要求1所述的方法，还包括：
5.根据权利要求1-4中任一项所述的方法，还包括：
6.根据权利要求5所述的方法，其中，荧光生成探针(例如4'，6-二脒基-2-苯基吲哚(dapi)和碘化丙啶(pi))是优选的，其荧光强度在与靶标结合后得到提升。
7.根据权利要求1-4中任一项所述的方法，其中，通过对所述样本进行连续切片来制备多个切片。
8.根据权利要求1-4中任一项所述的方法，其中，所述样本的暴露表面层的切面成像包括：
9.一种利用紫外线(uv)激发对样本进行断层扫描成像以产生三维(3d)荧光/自发荧光图像体积的方法，所述方法包括：
10.根据权利要求9所述的方法，其中，对组织块的暴露表面层的焦点扫描包括：
11.根据权利要求9所述的方法，其中，所述的第一个条件式生成对抗网络被配置为深度学习神经网络，并且能够是pix2pix。
12.根据权利要求9所述的方法，还包括：
13.根据权利要求10所述的方法，其中，在uv照射下获得低分辨率trust图像是优选的但不是必需的，具有更长波长的激发光源也是可实施的。
14.根据权利要求10所述的方法，其中，对单独的切片获取的低分辨率trust图像包括：
15.根据权利要求9所述的方法，其中，将所述低分辨率trust图像序列变换为高分辨率trust图像序列包括：
16.根据权利要求15所述的方法，其中，所述第二个条件式生成对抗网络被选择为超分辨率生成对抗网络(srgan)、增强型超分辨率生成对抗网络(esrgan)、内容自适应重采样器(car)或另一类型的超分辨深度学习网络。
17.根据权利要求15所述的方法，其中，所述第二个条件式生成对抗网络被配置作为深度学习神经网络。
18.根据权利要求15所述的方法，还包括：
19.根据权利要求9-18中任一项所述的方法，还包括：
20.权利要求19的方法，其中，荧光生成探针(例如4'，6-二脒基-2-苯基吲哚(dapi)和碘化丙啶(pi))是优选的，其表示在靶标结合后荧光强度更高。
21.根据权利要求9-20中任一项所述的方法，其中，“每个切片”或“所述单独的切片”是成像样本的暴露的表面层，并且通过连续地切片所述样本来制备多个切片。
22.一种用于利用紫外线(uv)激发对样本进行断层扫描成像以产生三维(3d)荧光/自发荧光图像体积的系统，并且所述系统包括：
23.根据权利要求22所述的系统，其中，所述条件式生成对抗网络可以是超分辨率生成对抗网络(srgan)、增强型超分辨率生成对抗网络(esrgan)、内容自适应重采样器(car)或另一类型的超分辨率深度学习网络。
24.根据权利要求22所述的系统，其中，所述条件式生成对抗网络被配置为深度学习神经网络。
25.根据权利要求22所述的系统，其中，一台或多台计算机还被配置为：
26.根据权利要求22-25中任一项所述的系统，其中，一台或多台计算机还被配置为：
27.根据权利要求26所述的系统，其中，荧光生成探针(例如，4'，6-二脒基-2-苯基吲哚(dapi)和碘化丙啶(pi))是优选的，其在靶标结合后显示出增加的荧光强度。
28.根据权利要求22-25中任一项所述的系统，其中，“每个切片”或“所述单独的切片”是成像样本的暴露表层，并且通过连续切片所述样本来制备多个切片。
29.根据权利要求22-25中任一项所述的系统，其中，为了拍摄包含单独的切面的荧光和自发荧光发射以生成其低分辨率trust图像，一台或多台计算机还被配置于控制所述成像子系统以：
30.一种利用紫外线激发对样本进行断层扫描成像以产生三维(3d)荧光图像体积的系统，并且所述系统包括：
31.根据权利要求30所述的系统，其中，所述第一个条件式生成对抗网络可为pix2pix。
32.根据权利要求30所述的系统，其中，所述第一个条件式生成对抗网络被配置为深度学习神经网络。
33.根据权利要求30所述的系统，其中，一台或多台计算机还被配置为：
34.根据权利要求30所述的系统，其中，在获取均匀照明下的每个切片的包含荧光和自发荧光发射的trust图像的过程中，一台或多台计算机还被配置用于控制所述成像子系统；紫外光是优选的，但波长更长的激发光源也是可执行的。
35.根据权利要求34所述的系统，其中，在获取均匀照明下的每个切片的记录荧光和自发荧光发射的trust图像的过程中，一台或多台计算机还被配置为控制所述成像子系统来：
36.根据权利要求30所述的系统，其中，在将所述trust图像序列变换为高分辨率trust图像序列时，一台或多台计算机还被配置用于：
37.根据权利要求36所述的系统，其中，所述第二个条件式生成对抗网络被选择为超分辨率生成对抗网络(srgan)、增强型超分辨率生成对抗网络(esrgan)、内容自适应重采样器(car)或另一类型的超分辨率深度学习网络。
38.根据权利要求36所述的系统，其中，所述第二个条件式生成对抗网络被配置为深度学习神经网络。
39.根据权利要求36所述的系统，其中，一台或多台计算机还被配置用于：
40.根据权利要求30-39中任一项所述的系统，其中，一台或多台计算机还被配置用于：
41.根据权利要求40所述的系统，其中，荧光生成探针(例如，4'，6-二脒基-2-苯基吲哚(dapi)和碘化丙啶(pi))是优选的，其在靶标结合后显示增加的荧光强度。
42.根据权利要求30-39中任一项所述的系统，其中，“每个切面”或“所述单独的切面”是成像样本的暴露表层，并且通过对所述样本连续切片来制备多个切面。
