本公开涉及深度学习、医学图像处理领域,更具体地,涉及一种超声图像重建方法。
背景技术:
1、手术过程中,为了精准找到病灶,通常使用吲哚菁绿等化学材料对病灶进行荧光染色。而随着计算机视觉技术的发展,通过术前医学影像对器官进行重建也能够辅助进行病灶定位。
2、在实现本公开构思的过程中,发明人发现相关技术中至少存在如下问题,使用化学材料对病灶进行染色定位可能会导致过敏反应,并且长时间观察荧光图像会导致视觉疲劳。通过术前医学影像对器官进行重建未考虑到手术过程中病灶的形变情况,重建结果不准确。
技术实现思路
1、有鉴于此,本公开提供了一种超声图像重建方法、装置、电子设备、可读存储介质和计算机程序产品。
2、本公开的一个方面提供了一种超声图像重建方法,包括:获取针对目标对象扫描得到的多帧超声图像;对每一帧超声图像进行分割处理,得到每一帧超声图像的语义分割图像;以及利用光线投影体绘制方法对多帧超声图像各自的语义分割图像进行三维重建,得到目标对象的三维模型。
3、根据本公开的实施例,对每一帧超声图像进行分割处理,得到每一帧超声图像的语义分割图像,包括:将每一帧超声图像输入第一分支网络,得到第一分割图像;将每一帧超声图像输入第二分支网络,得到第二分割图像;将第一分割图像和第二分割图像进行融合,得到每一帧超声图像的语义分割图像。
4、根据本公开的实施例,第一分支网络包括m个第一编码器和m-1个第一解码器,其中,m为大于2的正整数;其中,将每一帧超声图像输入第一分支网络,得到第一分割图像,包括:利用m个第一编码器处理每一帧超声图像,得到第m个第一编码器的输出特征和m个第一编码器各自的输入特征;以及利用m-1个第一解码器处理第m个第一编码器的输出特征和m个第一编码器各自的输入特征,得到第一分割图像。
5、根据本公开的实施例,利用m个第一编码器处理每一帧超声图像,得到第m个第一编码器的输出特征和m个第一编码器各自的输入特征,包括:将第i个第一编码器的输出特征和第i个第一编码器的输入特征进行特征融合,得到第i+1个第一编码器的输入特征;以及将第i+1个第一编码器的输入特征输入第i+1个第一编码器,得到第i+1个第一编码器的输出特征;其中,i为整数,1≤i<m,其中,第1个第一编码器的输入特征表示为每一帧超声图像。
6、根据本公开的实施例,利用m-1个第一解码器处理第m个第一编码器的输出特征和m个第一编码器各自的输入特征,得到第一分割图像,包括:将第m-j个第一编码器的输入特征输入注意力模块,得到第一特征;以及将第j个第一解码器的输出特征和第一特征输入第j+1个第一解码器,得到第j+1个第一解码器的输出特征;其中,j为整数,0≤j<m-1,其中,第0个第一解码器的输入特征表示为第m个第一编码器的输出特征,第m-1个第一解码器的输出特征表示为第一分割图像。
7、根据本公开的实施例,第一解码器包括第一交叉层、第一卷积层和第一处理模块;其中,将第j个第一解码器的输出特征和第一特征输入第j+1个第一解码器,得到第j+1个第一解码器的输出特征,包括:将第j个第一解码器的输出特征输入第一交叉层,得到第二特征;将第二特征输入第一卷积层,得到第三特征;将第三特征与第一特征进行拼接,得到第四特征;以及将第四特征输入第一处理模块,得到第j+1个第一解码器的输出特征。
8、根据本公开的实施例,第二分支网络包括n个第二编码器、中间模块和n个第二解码器,其中,n为大于2的正整数;其中,将每一帧超声图像输入第二分支网络,得到第二分割图像,包括:利用n个第二编码器处理每一帧超声图像,得到第n个第二编码器的输出特征和n个第二编码器各自输出的中间特征;将第n个第二编码器的输出特征输入中间模块,得到第五特征;以及利用n个第二解码器处理n个第二编码器各自的中间特征和第五特征,得到第二分割图像。
9、根据本公开的实施例,第二编码器包括第二卷积层和第二处理模块;其中,利用n个第二编码器处理每一帧超声图像,得到第n个第二编码器的输出特征和n个第二编码器各自的中间特征,包括:将第p-1个第二编码器的输出特征输入第p个第二编码器包括的第二卷积层中,得到第p个第二编码器的中间特征;以及将第p个第二编码器的中间特征输入第二处理模块,得到第p个第二编码器的输出特征;其中,p为整数,1≤p<n,其中,第1个第二编码器的输入特征表示为每一帧超声图像。
10、根据本公开的实施例,利用n个第二解码器处理n个第二编码器各自的中间特征和第五特征,得到第二分割图像,包括:将第n-q+1个第二编码器的中间特征输入注意力模块,得到第六特征;以及将第q-1个第二解码器的输出特征和第六特征输入第q个第二解码器,得到第q个第二解码器的输出特征;其中,q为整数,1≤q≤n,其中,第0个第二解码器的输出特征表示为第五特征,第n个第二解码器的输出特征表示为第二分割图像。
11、根据本公开的实施例,第二解码器包括层归一化层和第三处理模块;其中,将第q-1个第二解码器的输出特征和第六特征输入第q个第二解码器,得到第q个第二解码器的输出特征,包括:将第q-1个第二解码器的输出特征输入层归一化层,得到第七特征;将第七特征与第六特征进行拼接,得到第八特征;以及将第八特征输入第三处理模块,得到第q个第二解码器的输出特征。
12、本公开的另一个方面提供了一种超声图像重建装置,包括:
13、图像获取模块,用于获取针对目标对象扫描得到的多帧超声图像;
14、图像分割模块,用于对每一帧超声图像进行分割处理,得到每一帧超声图像的语义分割图像;
15、图像重建模块,用于利用光线投影体绘制方法对多帧超声图像各自的语义分割图像进行三维重建,得到目标对象的三维模型。
16、本公开的另一方面提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个指令,其中,当上述一个或多个指令被上述一个或多个处理器执行时,使得上述一个或多个处理器实现如上所述的方法。
17、本公开的另一方面提供了一种计算机可读存储介质,存储有计算机可执行指令,上述指令在被执行时用于实现如上所述的方法。
18、本公开的另一方面提供了一种计算机程序产品,上述计算机程序产品包括计算机可执行指令,上述指令在被执行时用于实现如上所述的方法。
19、根据本公开的实施例,因为采用了通过对目标对象进行扫描,得到多帧超声图像,并对每一帧超声图像进行分割处理,得到每一帧超声图像的语义分割图像。利用光线投影提绘制方法,对目标对象进行三维重建,得到目标对象的三维模型的技术手段,所以至少部分地克服了重建结果不准确、重建耗时过长技术问题,进而达到了避免形变产生的影响、重建效率高、提高三维模型的可读性和准确度的技术效果。
1.一种超声图像重建方法,包括:
2.根据权利要求1所述的方法,其中,所述对每一帧超声图像进行分割处理,得到每一帧超声图像的语义分割图像,包括:
3.根据权利要求2所述的方法,其中,所述第一分支网络包括m个第一编码器和m-1个第一解码器,其中,所述m为大于2的正整数;
4.根据权利要求3所述的方法,其中,所述利用所述m个第一编码器处理每一帧超声图像,得到第m个第一编码器的输出特征和所述m个第一编码器各自的输入特征,包括:
5.根据权利要求3所述的方法,其中,所述利用所述m-1个第一解码器处理所述第m个第一编码器的输出特征和所述m个第一编码器各自的输入特征,得到所述第一分割图像,包括:
6.根据权利要求5所述的方法,其中,所述第一解码器包括第一交叉层、第一卷积层和第一处理模块;
7.根据权利要求2所述的方法,其中,所述第二分支网络包括n个第二编码器、中间模块和n个第二解码器,其中,所述n为大于2的正整数;
8.根据权利要求7所述的方法,其中,所述第二编码器包括第二卷积层和第二处理模块;
9.根据权利要求7所述的方法,其中,所述利用所述n个第二解码器处理所述n个第二编码器各自的中间特征和所述第五特征,得到所述第二分割图像,包括:
10.根据权利要求9所述的方法,其中,所述第二解码器包括层归一化层和第三处理模块;
