本申请涉及计算机视觉，尤其涉及一种人脸密集特征点检测与表情参数捕捉方法及装置。
背景技术：
1、三维重建是计算机视觉中的热门领域，在产学研结合方面有着广泛的研究和应用潜力。其中高保真头部动态化身建模技术在工业、娱乐等领域都有不可或缺的应用价值。算法方面，传统的基于密集多视点的复杂相机系统可以实现高质量头部化身虚拟，但高昂的设备成本和复杂的采集算法限制了相关技术的推广普及；另一方面当下现有的基于单视角视频建模人体头部虚拟化身虽然提供了低成本替代方案，但由于缺少先验信息，建模耗时久。因此，目前尚没有一种实现高清全息三维人脸化身快速建模的方案。
技术实现思路
1、本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
2、为此，本申请实施例提出了一种基于可驱动人脸生成式模型的三维人脸建模方法，包括：
3、构建包含独立眼球、牙齿、舌头建模的三维人脸模板，在所述三维人脸模板中标注密集关获取高清人脸图片数据集，采用基于关键点投影匹配的拟合方式对每张图片进行参数化人脸模板的拟合，获取对应的表情姿态参数；
4、获取从隐空间随机采样的一维向量，将所述一维向量分别输入动态特征生成器与基于三正交平面的静态特征生成器，得到神经纹理图与静态特征图；
5、利用拟合后的所述参数化人脸模板的表情姿态参数，将所述神经纹理图映射到所述三正交平面与所述静态特征图叠加，生成完整的三平面特征图；
6、基于所述三平面特征图，采用体渲染的方式获取渲染图片数据集，利用所述渲染图片数据集监督整体框架训练，通过生成式对抗训练方法获得可驱动人脸生成式模型。
7、可选的，所述获取高清人脸图片数据集，包括：
8、从开源的真实人脸数据库中获取所述高清人脸图片数据集。
9、可选的，所述参数化人脸模板为faceverse模型。
10、可选的，所述采用基于关键点投影匹配的拟合方式对每张图片进行参数化人脸模板的拟合，包括：
11、利用开源人脸关键点检测算法检测人脸图片上的二维人脸关键点，约束所述参数化人脸模板上三维关键点的二维投影与检测所得的二维人脸关键点一致。
12、可选的，所述动态特征生成器基于生成式二维网络搭建。
13、可选的，所述基于所述三平面特征图，采用体渲染的方式获取渲染图片数据集，包括：
14、所述三平面特征图上的每一个像素发射射线，沿射线采样点对空间特征进行聚合，并采用积分的方式渲染得到像素值；
15、根据渲染得到的所述像素值，生成渲染特征图；
16、搭建解码器架构的图片超分辨率网络框架，将所述渲染特征图输入所述图片超分辨率网络框架，得到所述渲染图片数据集。
17、可选的，还包括：
18、基于已训练好的所述可驱动人脸生成式模型中的动态特征生成器，额外搭建2d图片编码器网络；
19、获取大规模人脸视频数据集，基于所述大规模人脸视频数据集对所述2d图片编码器网络进行训练，学习从给定观测视频到特定神经特征图的映射；
20、根据训练后的2d图片编码器网络，生成与第二人脸图片具有相同表情姿态的第一人脸图片。
21、可选的，所述基于所述大规模人脸视频数据集对所述2d图片编码器网络进行训练，学习从给定观测视频到特定神经特征图的映射，包括：
22、使用开源的所述大规模视频人脸视频数据集，训练时将每条视频均匀采样100帧，依次输入所述2d图片编码器网络；
23、采用自回归式迭代优化策略，通过监督所述2d图片编码器网络优化，获取综合多帧观测信息优化符合人脸特征的神经特征图。
24、可选的，所述采用自回归式迭代优化策略，通过监督所述2d图片编码器网络优化，包括：
25、利用前一帧和当前帧图片以及所述可驱动人脸生成式模型对于当前帧的拟合残差图作为输入，根据输出的神经特征图偏移量对所述2d图片编码器网络的参数进行优化。
26、可选的，所述根据训练后的2d图片编码器网络，生成与第二人脸图片具有相同表情姿态的第一人脸图片，包括
27、将第一人脸视频均匀采样多帧后，依次输入训练后的2d图片编码器网络，获取拟合后第一人脸的神经纹理图；
28、获取第二人脸图片，检测所述第二人脸图片的关键点并对其进行参数化人脸模板的拟合，得到所述第二人脸图片拟合后的表情姿态参数；
29、将所述第二人脸图片拟合后的表情姿态参数传给所述第一人脸对应的参数化人脸模板，获取动作信息；
30、将所述动作信息和第一人脸的神经纹理图输入所述可驱动人脸生成式模型，生成与所述第二人脸图片具有相同表情姿态的第一人脸图片。
31、本申请的实施例提供的技术方案至少带来以下有益效果：
32、通过利用可驱动人脸生成式模型的先验信息，实现基于单视角视频中快速建模高清全息三维人脸化身，可以利用他人对已建模人脸化身进行驱动，在通过常见的单摄像头采集设备采集人脸视频后，即可在数秒内实现高清全息三维人脸化身的建模，并支持高真实感、高自由度的人脸化身动态驱动。
33、本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
1.一种基于可驱动人脸生成式模型的三维人脸建模方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述获取高清人脸图片数据集，包括：
3.根据权利要求1所述的方法，其特征在于，所述参数化人脸模板为faceverse模型。
4.根据权利要求1所述的方法，其特征在于，所述采用基于关键点投影匹配的拟合方式对每张图片进行参数化人脸模板的拟合，包括：
5.根据权利要求1所述的方法，其特征在于，所述动态特征生成器基于生成式二维网络搭建。
6.根据权利要求1所述的方法，其特征在于，所述基于所述三平面特征图，采用体渲染的方式获取渲染图片数据集，包括：
7.根据权利要求1-6任一所述的方法，其特征在于，还包括：
8.根据权利要求7所述的方法，其特征在于，所述基于所述大规模人脸视频数据集对所述2d图片编码器网络进行训练，学习从给定观测视频到特定神经特征图的映射，包括：
9.根据权利要求8所述的方法，其特征在于，所述采用自回归式迭代优化策略，通过监督所述2d图片编码器网络优化，包括：
10.根据权利要求8所述的方法，其特征在于，所述根据训练后的2d图片编码器网络，生成与第二人脸图片具有相同表情姿态的第一人脸图片，包括
