本申请涉及新医疗,特别涉及一种用于面部手术的三维面容模型构建方法及装置。
背景技术:
1、面部手术作为一种复杂精密的医疗程序,需要医生准确了解患者的面部结构以及手术部位的深层组织情况,以确保手术的成功和安全。相关技术中,医学专业人员可通过二维图像和手动测量获取患者的面部信息数据,以进行面部手术规划。
2、然而,相关技术在利用拍摄面部图像或医学影像技术等构建患者面部模型过程中,难以实现人体面部多模态信息的整合拼接,无法为医疗手术提供患者面部充分的深层组织信息,影响了面部手术规划的精确性和高效性,导致手术风险提升,亟待解决。
技术实现思路
1、本申请提供一种用于面部手术的三维面容模型构建方法及装置,以解决相关技术在利用拍摄面部图像或医学影像技术等构建患者面部模型过程中,难以实现人体面部多模态信息的整合拼接,无法为医疗手术提供患者面部充分的深层组织信息,影响了面部手术规划的精确性和高效性,导致手术风险提升等问题。
2、本申请第一方面实施例提供一种用于面部手术的三维面容模型构建方法,包括以下步骤:获取目标面容的三维面容图像点云和三维核磁共振点云;将所述三维面容图像点云和所述三维核磁共振点云进行刚性配准,得到所述目标面容的三维融合模型;基于所述三维融合模型,由所述目标面容的超声图像分割结果匹配目标分割区域,并根据所述目标面容的至少一种医学影像信息调整所述目标分割区域,得到适应后的目标分割区域,以利用所述适应后的目标分割区域和所述三维融合模型构建三维面容模型。
3、可选地,在本申请的一个实施例中,在基于所述三维融合模型,由所述目标面容的超声图像分割结果匹配所述目标分割区域之前,还包括:标注所述目标面容的超声图像,得到超声图像标注数据集;利用所述超声图像标注数据集调整预训练的图像分割模型的网络权重,得到目标图像分割模型;利用所述目标图像分割模型分割所述超声图像,得到所述超声图像分割结果。
4、可选地,在本申请的一个实施例中,所述标注所述目标面容的超声图像,得到超声图像标注数据集,包括:获取所述超声图像的多个特征点;利用所述多个特征点划分所述超声图像的至少一个组织轮廓,对所述至少一个组织轮廓标注对应组织标签,得到所述超声图像标注数据集。
5、可选地,在本申请的一个实施例中,所述基于所述三维融合模型,由所述目标面容的超声图像分割结果匹配目标分割区域,包括:基于所述超声图像分割结果,判断所述三维融合模型中是否存在至少一个分割区域满足预设弹性变形条件;若所述至少一个分割区域满足所述预设弹性变形条件,则判定满足所述预设弹性变形条件的分割区域为所述目标分割区域。
6、可选地,在本申请的一个实施例中,所述将所述三维面容图像点云和所述三维核磁共振点云进行刚性配准,得到所述目标面容的三维融合模型,包括:提取所述三维面容图像点云的几何特征点和所述三维核磁共振点云的成像特征点;基于所述几何特征点和所述成像特征点得到至少一个配准特征点,利用所述至少一个配准特征点确认初始匹配位置;根据所述初始匹配位置和预设最近点迭代算法配准所述三维面容图像点云和所述三维核磁共振点云,得到所述三维融合模型。
7、本申请第二方面实施例提供一种用于面部手术的三维面容模型构建装置,包括:获取模块,用于获取目标面容的三维面容图像点云和三维核磁共振点云;配准模块,用于将所述三维面容图像点云和所述三维核磁共振点云进行刚性配准,得到所述目标面容的三维融合模型;构建模块,用于基于所述三维融合模型,由所述目标面容的超声图像分割结果匹配目标分割区域,并根据所述目标面容的至少一种医学影像信息调整所述目标分割区域,得到适应后的目标分割区域,以利用所述适应后的目标分割区域和所述三维融合模型构建三维面容模型。
8、可选地,在本申请的一个实施例中,所述装置还包括:标注模块,用于在基于所述三维融合模型,由所述目标面容的超声图像分割结果匹配所述目标分割区域之前,标注所述目标面容的超声图像,得到超声图像标注数据集;调整模块,用于利用所述超声图像标注数据集调整预训练的图像分割模型的网络权重,得到目标图像分割模型;分割模块,用于利用所述目标图像分割模型分割所述超声图像,得到所述超声图像分割结果。
9、可选地,在本申请的一个实施例中,所述标注模块包括:获取单元,用于获取所述超声图像的多个特征点;标注单元,用于利用所述多个特征点划分所述超声图像的至少一个组织轮廓,对所述至少一个组织轮廓标注对应组织标签,得到所述超声图像标注数据集。
10、可选地,在本申请的一个实施例中,所述构建模块包括:判断单元,用于基于所述超声图像分割结果,判断所述三维融合模型中是否存在至少一个分割区域满足预设弹性变形条件;判定单元,用于若所述至少一个分割区域满足所述预设弹性变形条件,则判定满足所述预设弹性变形条件的分割区域为所述目标分割区域。
11、可选地,在本申请的一个实施例中,所述配准模块包括:提取单元,用于提取所述三维面容图像点云的几何特征点和所述三维核磁共振点云的成像特征点;确认单元,用于基于所述几何特征点和所述成像特征点得到至少一个配准特征点,利用所述至少一个配准特征点确认初始匹配位置;配准单元,用于根据所述初始匹配位置和预设最近点迭代算法配准所述三维面容图像点云和所述三维核磁共振点云,得到所述三维融合模型。
12、本申请第三方面实施例提供一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序,以实现如上述实施例所述的用于面部手术的三维面容模型构建方法。
13、本申请第四方面实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储计算机程序,该程序被处理器执行时实现如上的用于面部手术的三维面容模型构建方法。
14、本申请实施例可以通过三维核磁共振点云和三维面容图像点云的刚性配准构建面部信息的立体模型,并结合面部不同区域的超声图像划分,根据医学影像对目标分割区域进行调整,得到包含多模态面部信息的三维面容模型,从而全面准确地展现了面部的结构和深层组织信息,提高了面部手术的一致性和精确性,更加智能化。由此,解决了相关技术在利用拍摄面部图像或医学影像技术等构建患者面部模型过程中,难以实现人体面部多模态信息的整合拼接,无法为医疗手术提供患者面部充分的深层组织信息,影响了面部手术规划的精确性和高效性,导致手术风险提升等问题。
15、本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
1.一种用于面部手术的三维面容模型构建方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的方法,其特征在于,在基于所述三维融合模型,由所述目标面容的超声图像分割结果匹配所述目标分割区域之前,还包括:
3.根据权利要求2所述的方法,其特征在于,所述标注所述目标面容的超声图像,得到超声图像标注数据集,包括:
4.根据权利要求1所述的方法,其特征在于,所述基于所述三维融合模型,由所述目标面容的超声图像分割结果匹配目标分割区域,包括:
5.根据权利要求1所述的方法,其特征在于,所述将所述三维面容图像点云和所述三维核磁共振点云进行刚性配准,得到所述目标面容的三维融合模型,包括:
6.一种用于面部手术的三维面容模型构建装置,其特征在于,包括:
7.根据权利要求6所述的装置,其特征在于,还包括:
8.根据权利要求7所述的装置,其特征在于,所述标注模块包括:
9.根据权利要求6所述的装置,其特征在于,所述构建模块包括:
10.根据权利要求6所述的装置,其特征在于,所述配准模块包括:
11.一种电子设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序,以实现如权利要求1-5任一项所述的用于面部手术的三维面容模型构建方法。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行,以用于实现如权利要求1-5任一项所述的用于面部手术的三维面容模型构建方法。