本发明属于光电成像及计算机,特别涉及一种基于光电结构的pet图病变检测装置。
背景技术:
1、pet(positron emission computed tomography,正电子发射计算机断层扫描)是注射fdg(fludeoxyglucose,氟代脱氧葡萄糖)的一种功能性成像技术,具有分辨率低、方便观察到病变的特点,因此在肿瘤病变检测中很常用,但由于其无法精确定位,需结合ct图(computed tomography,电子计算机断层扫描)实现精确定位。因此,肿瘤患者一般是时常需要ct及pet的同时成像操作,这会导致患者接受辐射剂量很大。pet可以辅助观察病变情况,但ct图更多的是用于精确定位,由于需要pet与ct图同时观测才能实现病变检测,也增加了医务人员的工作量,因此快速的自动化的病变检测方法也是提升医务人员效率的手段之一。
2、在现有病变检测技术中,包括针对于pet/spect(single-photon emissioncomputed tomography,单光子发射计算机断层成像术)用于检测及表征化病变的基于人工智能的图像分析系统及方法,其使用机器学习的方法检测受试者中潜在癌性病变的热点区域并且判断出病变位置,分割出病变所在区域;还包括原发灶(病变)转移辅助诊断系统。主要使用深度学习的方法,对pet及ct图进行融合及病变位置分割,并且对病灶区域构建3d(3-dimension,三维)模型,来达到识别病变部位原发灶转移的目的。当前普遍的自动化病变检测技术都是基于机器学习、深度学习的策略,首先需要大量的训练数据,不然算法性能会受限制,而通常的数据量可能无法覆盖导致检测的成功率降低;其次对计算机算力要求比较高,训练时间长、调节参数较为繁琐;最后,考虑到是病变检测属于医疗方向,这两种训练模型通常是黑盒模型,训练机制及决策过程很难解释,给医务人员和患者以不可靠的印象。
技术实现思路
1、本发明提出一种基于光电结构的pet图病变检测装置,一方面利用光电结构对图像进行特征提取,处理速度快,可以快速获取图像中的关键信息,为后续进入fpga(fieldprogrammable gate array,现场可编程门阵列)中做准备;另一方面,利用pet-ct事先训练,达到从pet图生成伪ct图,以减少患者ct成像次数;进而利用jtc(joint fouriertransform correlator,光学联合变换相关器)来检测病变,jtc可以实现实时处理,即时检测病变并且有较高的灵敏度和特异性。
2、名词说明:
3、pet即正电子发射计算机断层扫描
4、fdg即氟代脱氧葡萄糖
5、ct即电子计算机断层扫描
6、spect即单光子发射计算机断层成像术
7、2d即二维
8、3d即三维
9、fpga即现场可编程门阵列
10、jtc即光学联合变换相关器
11、bso晶体即硅酸铋晶体
12、ccd即感光耦合组件又称电荷耦合器件
13、cnn即卷积神经网络
14、slm即空间光调制器
15、pytorch即一个用于构建深度学习模型的框架。
16、为实现上述目的,本发明提供了一种基于光电结构的pet图病变检测装置,包括特征提取组件、fpga、检测组件和预处理模块,其中,
17、所述特征提取组件的输入为pet图像,经特征提取组件的光学卷积后,又将光信号转换为电信号,传入所述fpga;
18、所述fpga部署卷积神经网络,预测ct图,输出给检测组件;
19、所述检测组件接收fpga输出的预测ct图,结合预处理模块向其输入的病变位置参考图,经光学变换,输出检测结果图像。
20、优选地,所述特征提取组件包括第一傅里叶透镜、光栅、相位调制器和光敏探测器,四者皆处于同一水平位置,形成光路,f为第一傅里叶透镜的焦距,输入第一傅里叶透镜的pet图像与第一傅里叶透镜间距为f,第一傅里叶透镜与光栅的间距为f,相位调制器放置于光栅的后方,相位调制器和光敏探测器间隔为f,光敏探测器放置在光路的末端,接收并转换光信号为电信号,传入fpga进行处理。
21、优选地,所述相位调制器改变光的相位分布,对光学卷积核进行相位调节,具体包括:
22、确定卷积核函数,设卷积核函数为:
23、
24、
25、或用表示;
26、其中,p表示邻域像素点的个数,在此记为8;r表示邻域半径,gi表示第i个邻域像素点的灰度值,gc表示中心像素点的灰度值,
27、设置相位调制模式并且编码到相位调制器,假设卷积核的权重范围是[w_min,w_max],相位调制模式的范围是[phase_min,phase_max];
28、phase=(weight-w_min)×(phase_max-phase_min)/(w_max-w_min)+phase_min;
29、其中,phase代表相位调制模式中的相位值,weight代表卷积核中的权重值;
30、输入信号进行相位调制,将需要进行卷积操作的输入信号通过相位调制器,使其与相位调制模式进行干涉,达到卷积的效果。
31、优选地,所述光敏探测器将相位调制器传入的信号转换成电信号并记录下来光敏探测器的输出为经过光学卷积后的光强分布。
32、优选地,所述fpga部署卷积神经网络包括用深度学习框架pytorch来定义和训练模型;将cnn模型转换为可部署的形式,包括权重参数和网络拓扑的转换;将cnn模型映射到fpga中;特征提取组件的结果传递给fpga,使用cnn模型在fpga上进行图像预测,输出预测ct图。
33、优选地,所述检测组件包括激光光源、扩束镜、准直镜、补偿件、第二傅里叶透镜、空间光调制器、第三傅里叶透镜、全息板和ccd,九者皆处于同一水平位置,形成光路,f为第二傅里叶透镜的焦距,亦为第三傅里叶透镜的焦距,第二傅里叶透镜、空间光调制器、第三傅里叶透镜与全息板依次设置,且前后间隔均为f;扩束镜位于准直镜前焦面位置处,补偿件位于准直镜后焦面位置处。
34、优选地,所述补偿件为共轭镜或四波混频光路。
35、优选地,所述补偿件为共轭镜时,假设共轭镜由两个面组成,介质折射率为n,入射角为θ1,出射角为θ2,理想情况下,可以得到:
36、
37、补偿量为c=-2arcsin(n×sin(θ2))。
38、优选地,所述补偿件为四波混频光路时,四波混频光路具体包括分光镜bs1、分光镜bs2、分光镜bs3、反光镜m1、反光镜m2、反光镜m3、反光镜m4、反光镜m5、bso晶体、1/4玻片以及第二傅里叶透镜和空间光调制器;共分为3路,第一路:经由分光镜bs1、反光镜m1、bso晶体形成参考光;第二路:经由分光镜bs2、反光镜m2、分光镜bs3后照射到空间光调制器中图组再通过第二傅里叶透镜成像到bso晶体形成物光;第三路:经由反光镜m3、反光镜m4、反光镜m5、1/4玻片、bso晶体形成读出光;物光和参考光它们相干叠加形成相位光栅,读出光在相位光栅上衍射光束构成物光的相位共轭光束,达到补偿效果;假设当前位相畸变为成像到空间光调制器上重建光波为通过空间光调制器上光波为o'(x,y)o(x,y)exp[iθ(x,y)];其中,o(x,y)为所测物体光波,o'(x,y)为bso晶体反射后的光波,i为虚数,是光波相位的逆变换,exp[iθ(x,y)]是晶体提供的相位项。
39、优选地,所述ccd探测到存在超出预设值的光学相关峰,则说明匹配成功,ccd输出相关光斑亮的区域即为病变所在位置。
40、与现有技术相比,本发明有益效果至少包括:
41、(1)利用光电结构对图像进行特征提取,处理速度快,可以快速获取图像中的关键信息,为后续进入fpga(field programmable gate array,现场可编程门阵列)中做准备;
42、(2)肿瘤患者一般是时常需要ct及pet的同时成像操作,这会导致患者接受辐射剂量很大。pet可以辅助观察病变情况,但ct图更多的是用于精确定位,如果有方法能适当能减少ct的操作,将会有效较低患者受到的辐射剂量。本发明中,fpga部署cnn(convolutional neural networks,卷积神经网络),使用特征提取,cnn系统输出伪ct图,可达到从pet图生成伪ct图,以减少患者ct成像次数;
43、(3)利用jtc(joint fourier transform correlator,光学联合变换相关器)来检测病变,jtc可以实现实时处理,即时检测病变并且有较高的灵敏度和特异性。
1.一种基于光电结构的pet图病变检测装置,其特征在于,包括特征提取组件、fpga、检测组件和预处理模块,其中,
2.根据权利要求1所述的装置,其特征在于,所述特征提取组件包括第一傅里叶透镜、光栅、相位调制器和光敏探测器,四者皆处于同一水平位置,形成光路,f为第一傅里叶透镜的焦距,输入第一傅里叶透镜的pet图像与第一傅里叶透镜间距为f,第一傅里叶透镜与光栅的间距为f,相位调制器放置于光栅的后方,相位调制器和光敏探测器间隔为f,光敏探测器放置在光路的末端,接收并转换光信号为电信号,传入fpga进行处理。
3.根据权利要求2所述的装置,其特征在于,所述相位调制器改变光的相位分布,对光学卷积核进行相位调节,具体包括:
4.根据权利要求3所述的装置,其特征在于,所述光敏探测器将相位调制器传入的信号转换成电信号并记录下来,光敏探测器的输出为经过光学卷积后的光强分布。
5.根据权利要求1所述的装置,其特征在于,所述fpga部署卷积神经网络包括用深度学习框架pytorch来定义和训练模型;将cnn模型转换为可部署的形式,包括权重参数和网络拓扑的转换;将cnn模型映射到fpga中;特征提取组件的结果传递给fpga,使用cnn模型在fpga上进行图像预测,输出预测ct图。
6.根据权利要求1所述的装置,其特征在于,所述检测组件包括激光光源、扩束镜、准直镜、补偿件、第二傅里叶透镜、空间光调制器、第三傅里叶透镜、全息板和ccd,九者皆处于同一水平位置,形成光路,f为第二傅里叶透镜的焦距,亦为第三傅里叶透镜的焦距,第二傅里叶透镜、空间光调制器、第三傅里叶透镜与全息板依次设置,且前后间隔均为f;扩束镜位于准直镜前焦面位置处,补偿件位于准直镜后焦面位置处。
7.根据权利要求6所述的装置,其特征在于,所述补偿件为共轭镜或四波混频光路。
8.根据权利要求7所述的装置,其特征在于,所述补偿件为共轭镜时,假设共轭镜由两个面组成,介质折射率为n,入射角为θ1,出射角为θ2,理想情况下,可以得到:
9.根据权利要求7所述的装置,其特征在于,所述补偿件为四波混频光路时,四波混频光路具体包括分光镜bs1、分光镜bs2、分光镜bs3、反光镜m1、反光镜m2、反光镜m3、反光镜m4、反光镜m5、bso晶体、1/4玻片以及第二傅里叶透镜和空间光调制器;共分为3路,第一路:经由分光镜bs1、反光镜m1、bso晶体形成参考光;第二路:经由分光镜bs2、反光镜m2、分光镜bs3后照射到空间光调制器中图组再通过第二傅里叶透镜成像到bso晶体形成物光;第三路:经由反光镜m3、反光镜m4、反光镜m5、1/4玻片、bso晶体形成读出光;物光和参考光它们相干叠加形成相位光栅,读出光在相位光栅上衍射光束构成物光的相位共轭光束,达到补偿效果;假设当前位相畸变为成像到空间光调制器上重建光波为通过空间光调制器上光波为o'(x,y)o(x,y)exp[iθ(x,y)];其中,o(x,y)为所测物体光波,o'(x,y)为bso晶体反射后的光波,i为虚数,是光波相位的逆变换,exp[iθ(x,y)]是晶体提供的相位项。
10.根据权利要求5所述的装置,其特征在于,所述ccd探测到存在超出预设值的光学相关峰,则说明匹配成功,ccd输出相关光斑亮的区域即为病变所在位置。
