一种基于可微渲染的三维人脸模型边缘优化方法及系统与流程

1.本发明涉及计算机的技术领域，特别涉及一种基于可微渲染的三维人脸模型边缘优化方法及系统。


背景技术：

2.现有技术中，图片驱动表情的通用方法是提取图片上人脸关键点，找到人脸关键点反投影在三维人脸模型上对应的索引，利用最小二乘法算法，求解出三维人脸模型的特征向量对应的权重的值，使得人脸关键点与三维人脸模型的坐标点竟可能相似。
3.但根据现有方法建立的三维人脸模型，由于在边缘没有特定模型索引，在超写实的真人模型驱动的时候，具有在边缘特定区域效果差，与获取的目标人脸图像相似度低的问题，特别是三维人脸模型的内嘴唇部位，在超写实的真人模型驱动的时候，如果选择固定的模型索引，会出现三维人脸模型的表情与目标人脸图像表情不一致的问题。


技术实现要素：

4.本发明的目的就是解决背景技术中提到的问题，提出一种基于可微渲染的三维人脸模型边缘优化方法及系统。
5.为实现上述目的，本发明首先提出了一种基于可微渲染的三维人脸模型边缘优化方法，包括以下步骤：
6.获取目标人脸图像；
7.初始化人脸模型表情权重并生成初始三维人脸模型；
8.生成标准化三维人脸模型，所述标准化三维人脸模型与所述目标人脸图像相对齐；
9.对标准化三维人脸模型进行光栅化处理得到二维图像信息，所述二维图像信息包括深度信息、面信息、重心坐标信息，其中深度信息、面信息、重心坐标信息与像素坐标相对应；
10.通过可导步骤从所述深度信息中提取边缘特征信息；
11.通过获取与所述边缘特征信息相对应的重心坐标信息并进行插值，得到边缘特征点；
12.根据目标人脸图像中的关键点与所述边缘特征点建立分布损失函数ldis、倒角距离损失函数lchamfer、正则化损失函数lreg，其中分布损失函数ldis为人脸模型表情权重的均方和，倒角距离损失函数正则化损失函数lreg＝||var(s1)-var(s2)||，s1为所述关键点的集合，s2为所述边缘特征点的集合，var为方差运算符；
13.对分布损失函数ldis、倒角距离损失函数lchamfer、正则化损失函数lreg进行加权计算得到总损失函数lall＝w1*ldis w2*lchamfer w3*lreg，其中w1、w2、w3为总损失函数的超参数；
14.对总损失函数lall进行反向传播迭代直到总损失函数lall取得最小值，从而得到最优表情权重；
15.根据所述最优表情权重生成最优三维人脸模型。
16.可选的，所述通过可导步骤从所述深度信息中提取边缘特征信息包括以下步骤：提取位于标准化三维人脸模型上的深度信息，生成第一深度图；对所述第一深度图进行卷积生成第二深度图，所述第二深度图显示所述标准化三维人脸模型的边缘轮廓线；对所述第二深度图进行优化从而完成标准化三维人脸模型的边缘特征提取。
17.可选的，通过公式norm(z)＝(z 1)/(z 1.001)来提取位于标准化三维人脸模型上的深度信息，其中z为所有像素坐标对应的深度信息。
18.可选的，所述边缘特征信息为内嘴唇的边缘特征信息，所述边缘特征点为内嘴唇的边缘特征点。
19.可选的，所述通过获取与边缘特征信息相对应的重心坐标信息并进行插值，得到边缘特征点包括以下步骤：获取所述边缘特征信息中像素值大于零的特定像素坐标；获取与所述特定像素坐标相对应的面信息以及重心坐标信息；通过重心坐标插值得到边缘特征点。
20.可选的，所述生成标准化三维人脸模型包括以下步骤：获取与所述目标人脸图像对应的相机参数；通过公式生成标准化三维人脸模型，其中p为透视变换，r
t
为相机旋转矩阵r的转置矩阵，t为相机位移向量，p_bias为像素矫正值，m为初始三维人脸模型，为标准化三维人脸模型。
21.可选的，通过公式m＝b ∑iwi*fi生成初始三维人脸模型，其中m为初始三维人脸模型，b为三维人脸模型基础型，fi为三维人脸模型第i个特征向量，wi为三维人脸模型第i个表情权重。
22.可选的，通过adam算法对总损失函数lall进行迭代更新直到总损失函数lall取得最小值，从而得到最优表情权重。
23.本发明实施例还提供了一种基于可微渲染的三维人脸模型边缘优化系统，包括：
24.人脸图像获取模块，所述人脸图像获取模块被配置为获取目标人脸图像；
25.初始人脸模型生成模块，所述初始人脸模型生成模块被配置为初始化人脸模型表情权重并生成初始三维人脸模型；
26.标准化人脸模型生成模块，所述标准化人脸模型生成模块被配置为生成标准化三维人脸模型，所述标准化三维人脸模型与所述目标人脸图像相对齐；
27.光栅化处理模块，所述光栅化处理模块被配置为对标准化三维人脸模型进行光栅化处理得到二维图像信息，所述二维图像信息包括深度信息、面信息、重心坐标信息，其中深度信息、面信息、重心坐标信息与像素坐标相对应；
28.边缘特征信息提取模块，所述边缘特征信息提取模块被配置为通过可导步骤从所述深度信息中提取边缘特征信息；
29.重心坐标插值模块，所述重心坐标插值模块被配置为通过获取与所述边缘特征信息相对应的重心坐标信息并进行插值，得到边缘特征点；
30.损失函数生成模块，所述损失函数生成模块被配置为根据目标人脸图像中的关键
点与所述边缘特征点建立分布损失函数ldis、倒角距离损失函数lchamfer、正则化损失函数lreg，其中分布损失函数ldis为人脸模型表情权重的均方和，倒角距离损失函数正则化损失函数lreg＝||var(s1)-var(s2)||，s1为所述关键点的集合，s2为所述边缘特征点的集合，var为方差运算符；
31.总损失函数生成模块，所述总损失函数生成模块被配置为对分布损失函数ldis、倒角距离损失函数lchamfer、正则化损失函数lreg进行加权计算得到总损失函数lall＝w1*ldis w2*lchamfer w3*lreg，其中w1、w2、w3为总损失函数的超参数；
32.最优表情权重获取模块，所述最优表情权重获取模块被配置为对总损失函数lall进行反向传播迭代直到总损失函数lall取得最小值，得到最优表情权重；
33.最优三维人脸模型生成模块，所述最优三维人脸模型生成模块被配置为根据所述最优表情权重生成最优三维人脸模型。
34.本发明的有益效果：
35.本发明实施例基于可微渲染的三维人脸模型边缘优化方法及系统，先通过可导步骤从所述深度信息中提取边缘特征信息，再根据边缘特征信息进行重心坐标插值得到三维人脸模型的边缘特征点，然后通过构建一个由分布损失函数ldis、倒角距离损失函数lchamfer、正则化损失函数lreg组成的总损失函数lall再对总损失函数lall进行迭代得到最优表情权重，最后根据最优表情权重生成最优三维人脸模型。
36.此外，本发明实施例基于可微渲染的三维人脸模型边缘优化方法及系统，通过构建倒角距离损失函数lchamfer，使边缘特征点能够自主寻找其在目标人脸图像上的对应关键点信息；通过构建分布损失函数ldis，使三维人脸模型边缘特征点与目标人脸图像上关键点的分布一致，从而保证在迭代过程中陷入到局部最优解；通过构建正则化损失函数lreg，使得表情权重在满足前两个损失函数的情况下越小越好，从而保证最终得到的三维人脸模型动起来是流畅的。
37.此外，通过对三维人脸模型边缘特别是内嘴唇处进行优化，解决了内嘴唇处没有特定模型索引，在超写实的真人模型驱动时，选择固定的模型索引，造成三维人脸模型的表情与获取的目标人脸图像表情不一致的问题。
38.本发明的特征及优点将通过实施例结合附图进行详细说明。
附图说明
39.图1为本发明实施例的基于可微渲染的三维人脸模型边缘优化方法的流程框图之一；
40.图2为本发明实施例的基于可微渲染的三维人脸模型边缘优化方法的流程框图之二；
41.图3为本发明实施例的基于可微渲染的三维人脸模型边缘优化方法的流程框图之三；
42.图4为本发明实施例的基于可微渲染的三维人脸模型边缘优化方法的流程框图之四；
43.图5为本发明实施例的基于可微渲染的三维人脸模型边缘优化系统的结构框图。
具体实施方式
44.为了便于本领域技术人员的理解，下面将结合具体实施例对本发明作进一步详细描述。
45.请参考图1，本发明实施例提供了一种基于可微渲染的三维人脸模型边缘优化方法，包括以下步骤：
46.步骤s10，获取目标人脸图像；本实施例中，在通过相机采集目标人脸图像的过程中，还包括提取目标人脸图像中关键点和或获取与所述目标人脸图像对应的相机位姿参数的步骤，具体的，可通过现有半自动软件与人工微调的方式来提取所述关键点或获取所述相机位姿参数。在其他实施例中，也可仅包括获取目标人脸图像这一步骤。
47.步骤s20，初始化人脸模型表情权重并生成初始三维人脸模型；具体的，可通过公式m＝b ∑iwi*fi来生成初始三维人脸模型，其中m为要生成的初始三维人脸模型，b为预先设定的三维人脸模型基础型，fi为三维人脸模型第i个特征向量，wi为三维人脸模型第i个表情权重，其中，三维人脸模型的特征向量可以是预设好的，只要通过改变与每个特征向量相对应的表情权重就可以得到不同外形的三维人脸模型，当将表情权重初始化为某一初始值后，即得到初始三维人脸模型，得到的初始三维人脸模型与获取的目标人脸图像之间不存在关联。
48.步骤s30，生成标准化三维人脸模型，所述标准化三维人脸模型与所述目标人脸图像相对齐；具体的，先将与目标人脸图像对应的相机位姿参数反算成运动矩阵，再将运动矩阵应用在初始三维人脸模型，从而生成标准化三维人脸模型，所述标准化三维人脸模型与目标人脸图像对齐，即目标人脸图像相对于相机的位置与标准化三维人脸模型相对于相机的位置一致，本步骤是后续构建正确损失函数的关键，如果没有生成标准化三维人脸模型或生成错误的标准化三维人脸模型都会影响后续损失函数，从而影响最终优化得到的三维人脸模型的精确度，特别是边缘处的精确度。
49.请参考图4，为本发明一实施例提供的一种生成标准化三维人脸模型的流程框图，包括以下步骤：
50.步骤s310，获取与所述目标人脸图像对应的相机参数。
51.步骤s320，通过公式生成标准化三维人脸模型，其中p为透视变换，r
t
为相机旋转矩阵r的转置矩阵，t为相机位移向量，p_bias为像素矫正值，m为初始三维人脸模型，为标准化三维人脸模型，通过上述公式可得到正确的标准化三维人脸模型，此外还可以将相机位移向量t的值设为零相机在原点不动，大大简化标准化三维人脸模型的计算难度。
52.步骤s40，对标准化三维人脸模型进行光栅化处理得到二维图像信息，所述二维图像信息包括深度信息、面信息、重心坐标信息，其中深度信息、面信息、重心坐标信息与像素坐标相对应；具体的，通过zbuffer数据保存像素坐标对应的深度信息，通过pix2face数据保存像素坐标对应面信息，通过bary数据保存像素坐标对应的重心坐标信息。
53.步骤s50，通过可导步骤从所述深度信息中提取边缘特征信息；在一优选实施例中，所述边缘特征信息为三维人脸模型内嘴唇部分的边缘特征信息。
54.具体的，通过公式zp＝relu(conv(norm(z))来提取边缘特征信息，其中norm为自
定义算子，zp为边缘特征图，z为zbuffer数据，conv为卷积操作，此外公式zp＝relu(conv(norm(z))中所有步骤都是可导的，才可以在步骤s90中通过迭代更新得到最优表情权重。
55.请参考图2，为本发明一实施例提供的一种通过可导步骤从深度信息中提取边缘特征信息的流程框图，包括以下步骤：
56.步骤s510，提取位于标准化三维人脸模型上的深度信息，生成第一深度图；其中所述第一深度图为边缘分明的深度图片。
57.本实施例中，通过公式norm(z)＝(z 1)/(z 1.001)来提取位于标准化三维人脸模型上的深度信息，其中z为所有像素坐标对应的深度信息，通过公式norm(z)＝(z 1)/(z 1.001)使得深度图片中位于标准化三维人脸模型上的像素点无限接近于1，不在标准化三维人脸模型上的像素点无限接近于0，从而实现位于标准化三维人脸模型上深度信息的提取，此外本方法还具有性能损耗可以忽略不计的优点。
58.步骤s520，对所述第一深度图进行卷积生成第二深度图，所述第二深度图显示所述标准化三维人脸模型的边缘轮廓线，在本实施例中，采用的卷积核来进行卷积操作，在其他实施例中，可根据实际情况，选取不同补偿的卷积核或采用其它边缘提取的算子，只要满足可导这一条件都属于本发明保护范围。
59.步骤s530，对所述第二深度图进行优化从而完成标准化三维人脸模型的边缘特征提取。
60.在本实施例中，对只有边缘轮廓线的第二深度图进行relu函数运算，就可以完成标准化三维人脸模型边缘提取，相比于神经网络中被普遍使用的用来将一个线性过程变为非线性过程的relu激活函数，本实施例中，将relu函数截断性质应用在边缘提取的步骤中，故通过relu函数来进行边缘提取也是本发明的发明点。
61.步骤s60，通过获取与所述边缘特征信息相对应的重心坐标信息并进行插值，得到边缘特征点；在一优选实施例中，所述边缘特征点为三维人脸模型内嘴唇部分的边缘特征点。
62.请参考图3，通过获取与所述边缘特征信息相对应的重心坐标信息并进行插值得到边缘特征点，具体包括以下步骤：
63.步骤s610，获取所述边缘特征信息中像素值大于零的特定像素坐标。
64.步骤s620，获取与所述特定像素坐标相对应的面信息以及重心坐标信息。
65.步骤s630，通过重心坐标插值得到边缘特征点。
66.通过本方法能够获得精确的三维模型边缘特征点，使用本方法获得的边缘特征点误差可以精确到像素级别。
67.步骤s70，根据目标人脸图像中关键点、所述边缘特征点建立分布损失函数ldis、倒角距离损失函数lchamfer、正则化损失函数lreg，其中分布损失函数ldis为人脸模型表情权重的均方和，倒角距离损失函数正则化损失函数lreg＝||var(s1)-var(s2)||，s1为所述关键点的集合，s2为所述边缘特征点的集合，var为方差运算符。
68.本实施例中，通过构建倒角距离损失函数lchamfer，使边缘特征点能够自主寻找其在目标人脸图像上的对应关键点信息；通过构建分布损失函数ldis，使三维人脸模型边缘特征点与目标人脸图像上关键点的分布一致，从而保证在迭代过程中陷入到局部最优解；通过构建正则化损失函数lreg，使得表情权重在满足前两个损失函数的情况下越小越好，从而保证最终得到的三维人脸模型动起来是流畅的。
69.步骤s80，对分布损失函数ldis、倒角距离损失函数lchamfer、正则化损失函数lreg进行加权计算得到总损失函数lall＝w1*ldis w2*lchamfer w3*lreg，其中w1、w2、w3为总损失函数的超参数，需要在迭代之前，固定w1、w2、w3三者的大小，从而调整三个损失函数作用对结果的影响比重。
70.步骤s90，对总损失函数lall进行反向传播迭代直到总损失函数lall取得最小值，从而得到最优表情权重；在一优选实施例中，可通过adam算法对总损失函数lall进行迭代更新直到总损失函数lall取得最小值，从而得到最优表情权重。在其他实施例中，可采取其他现有的ai算法来对总损失函数lall进行迭代更新，都属于本发明的保护范围。
71.步骤s100，根据所述最优表情权重生成最优三维人脸模型，在获得所述最优表情权重后，可通过公式m＝b ∑iwi*fi来生成最优三维人脸模型，在此不再赘述。
72.综上，本发明实施例的基于可微渲染的三维人脸模型边缘优化方法先通过可导步骤从所述深度信息中提取边缘特征信息，再根据边缘特征信息进行重心坐标插值得到三维人脸模型的边缘特征点，然后通过构建一个由分布损失函数ldis、倒角距离损失函数lchamfer、正则化损失函数lreg组成的总损失函数lall再对总损失函数lall进行迭代得到最优表情权重，最后根据最优表情权重生成最优三维人脸模型。
73.此外，通过对三维人脸模型边缘特别是内嘴唇处进行优化，解决了内嘴唇处没有特定模型索引，在超写实的真人模型驱动时，选择固定的模型索引，造成三维人脸模型的表情与获取的目标人脸图像表情不一致的问题。
74.根据上述基于可微渲染的三维人脸模型边缘优化方法，本发明实施例还提供了一种基于可微渲染的三维人脸模型边缘优化系统，请参考图5，该系统包括如下模块：
75.人脸图像获取模块11，所述人脸图像获取模块被配置为获取目标人脸图像。
76.初始人脸模型生成模块21，所述初始人脸模型生成模块被配置为初始化人脸模型表情权重并生成初始三维人脸模型。
77.标准化人脸模型生成模块31，所述标准化人脸模型生成模块被配置为生成标准化三维人脸模型，所述标准化三维人脸模型与所述目标人脸图像相对齐。
78.光栅化处理模块41，所述光栅化处理模块被配置为对标准化三维人脸模型进行光栅化处理得到二维图像信息，所述二维图像信息包括深度信息、面信息、重心坐标信息，其中深度信息、面信息、重心坐标信息与像素坐标相对应。
79.边缘特征信息提取模块51，所述边缘特征信息提取模块被配置为通过可导步骤从所述深度信息中提取边缘特征信息。
80.重心坐标插值模块61，所述重心坐标插值模块被配置为通过获取与所述边缘特征信息相对应的重心坐标信息并进行插值，得到边缘特征点。
81.损失函数生成模块71，所述损失函数生成模块被配置为根据目标人脸图像中的关键点与所述边缘特征点建立分布损失函数ldis、倒角距离损失函数lchamfer、正则化损失
函数lreg，其中分布损失函数ldis为人脸模型表情权重的均方和，倒角距离损失函数正则化损失函数lreg＝||var(s1)-var(s2)||，s1为所述关键点的集合，s2为所述边缘特征点的集合，var为方差运算符。
82.总损失函数生成模块81，所述总损失函数生成模块被配置为对分布损失函数ldis、倒角距离损失函数lchamfer、正则化损失函数lreg进行加权计算得到总损失函数lall＝w1*ldis w2*lchamfer w3*lreg，其中w1、w2、w3为总损失函数的超参数。
83.最优表情权重获取模块91，所述最优表情权重获取模块被配置为对总损失函数lall进行反向传播迭代直到总损失函数lall取得最小值，得到最优表情权重。
84.最优三维人脸模型生成模块110，所述最优三维人脸模型生成模块被配置为根据所述最优表情权重生成最优三维人脸模型。
85.综上所述，本发明实施例提出的一种基于可微渲染的三维人脸模型边缘优化系统，该系统可以实现为一种程序的形式，在计算机设备上运行。计算机设备的存储器中可存储组成该基于可微渲染的三维人脸模型边缘优化系统的各个程序模块，比如，图5所示的人脸图像获取模块11、初始人脸模型生成模块21、标准化人脸模型生成模块31、光栅化处理模块41、边缘特征信息提取模块51、重心坐标插值模块61、损失函数生成模块71、总损失函数生成模块81、最优表情权重获取模块91、最优三维人脸模型生成模块110。各个程序模块构成的程序使得处理器执行本说明书中描述的本技术各个实施例一种基于可微渲染的三维人脸模型边缘优化方法中的步骤。
86.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
87.上述实施例是对本发明的说明，不是对本发明的限定，任何对本发明简单变换后的方案均属于本发明的保护范围。以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。