一种模拟相机任意视角拍摄的图像增强方法及系统与流程

1.本发明涉及计算机技术领域，特别涉及一种模拟相机任意视角拍摄的图像增强方法。


背景技术：

2.在ai领域中，模型训练结果的好坏很大程度上取决于数据的好坏；要解决模型在多环境下都能完成识别任务，最通用的做法是不断采集模型没有学习的数据；主要缺陷在于：不断采集模型没有学习到的数据，需要花费大量的人力，而且需要考虑人工制作数据的过程中的误差会影响高精度回归任务的效果。
3.当然，对数据进行预处理是一种更为省力的方法，目前常见的图片预处理办法包括：改变图片的对比度、分辨率，在平面内旋转图像，在图片的像素点上增加随机的噪声等。在面部表情应用场景下，如果采用上述所有的数据的预处理的办法，都是在二维平面上或者在像素值的层面上对图片做的数据增强，而如果需要表情在任意视角下表情的效果的一致性，以上的图片增强的方法都没有办法解决。


技术实现要素：

4.本发明的目的就是解决背景技术中提到的问题，提出一种模拟相机任意视角拍摄的图像增强方法及系统。
5.为实现上述目的，本发明首先提出了一种模拟相机任意视角拍摄的图像增强方法，包括以下步骤：
6.获取不同视角下的人脸表情图像；
7.根据人脸表情图像生成三维人脸模型；
8.通过对三维人脸模型口腔、人脸边缘处进行闭合操作，生成闭合三维人脸模型；
9.根据闭合三维人脸模型对人脸表情图像进行展开，从而去除每个视角下人脸表情图像的视角信息；
10.通过对展开后人脸表情图像进行合成，生成闭合三维人脸贴图；
11.根据闭合三维人脸模型、闭合三维人脸贴图生成任意视角下的人脸表情图像。
12.可选的，所述根据人脸表情图像得到三维人脸模型包括以下步骤：对人脸表情图像进行标注，得到关键点注释；获取转移矩阵，所述转移矩阵为人脸表情图像与基础人脸图像重合时，相机与基础三维人脸模型的相对位移参数，所述基础人脸图像为通过渲染基础三维人脸模型得到的二维图像；建立基础三维人脸模型与其关键点注释之间的对应关系，使s＝map(p(f*t*m) pix_bias))，其中s代表关键点注释，map代表索引模型顶点，p(x,y,z)＝[x/z,y/z,z/z]，x、y、z代表空间坐标，f代表相机焦距，t代表转移矩阵，m代表基础三维人脸模型，pix_bias代表像素中心误差；根据所述对应关系对基础三维人脸模型进行优化，生成三维人脸模型。
[0013]
可选的，对三维人脸模型的口腔处进行闭合操作具体包括以下步骤：选择三维人
脸模型内嘴唇处的n个顶点vl，所述顶点vl按照顺序沿内嘴唇围成一圈；根据顶点vl指定三角面fi＝(vli,vl
i 1
,vl
i 2
)，其中i表示第i个顶点。
[0014]
可选的，所述n为10。
[0015]
可选的，对三维人脸模型的人脸边缘处进行闭合操作具体包括以下步骤：选择三维人脸模型人脸边缘处的m个顶点vb，所述顶点vb按照顺序沿人脸边缘处围成一圈；计算每一个顶点vb的单位法向量n；沿每一个顶点vb法向量方向距离l的位置，选定顶点vbo，vbo＝l*n vb；根据顶点vb、顶点vbo指定三角面f
i1
＝(vbi,vboi,vb
i 1
)，三角面f
i2
＝(vboi,vb
i 1
,vbo
i 1
)，i表示第i个顶点。
[0016]
可选的，所述m为15。
[0017]
可选的，所述根据闭合三维人脸模型对人脸表情图像进行展开包括以下步骤：获取闭合三维人脸模型上的所有可见顶点以及所述可见顶点构成的可见三角面；将闭合三维人脸模型转换至像素坐标系；获取闭合三维人脸模型像素坐标系每个像素对应的重心坐标，从而得到人脸表情图像每个像素对应的重心坐标；获取展开后人脸表情图像的像素坐标piwarp，piwarp＝u*pvis
vd1
v*pvis
vd2
w*pvis
vd3
，其中pvis
vd1
、pvis
vd2
、pvis
vd3
为每个可见三角面三个顶点所对应的像素坐标，u、v、w分别为人脸表情图像每个像素对应重心坐标的分量；通过所述像素坐标piwarp对人脸表情图像进行采样，得到展开后人脸表情图像iwarp。
[0018]
可选的，通过面捕头盔上下并排放置的两个相机采集上下两个视角下的人脸表情图像。
[0019]
可选的，通过公式icom＝w1*iwarp1 (1-w1)*iwarp2对两张展开后图片进行图像合成，其中icom代表生成的闭合三维人脸贴图，iwarp1、iwarp2分别代表上、下两个视角人脸表情图像的展开后图像，w1代表可调系数。
[0020]
本发明实施例还提供了一种模拟相机任意视角拍摄的图像增强系统，包括：人脸表情图像获取模块，所述人脸表情图像获取模块被配置为获取不同视角下的人脸表情图像；三维人脸模型生成模块，所述三维人脸模型生成模块被配置为根据人脸表情图像生成三维人脸模型；闭合三维人脸模型生成模块，所述闭合三维人脸模型生成模块被配置为通过对三维人脸模型口腔、人脸边缘处进行闭合操作，生成闭合三维人脸模型；人脸表情图像展开模块，所述人脸表情图像展开模块被配置为根据闭合三维人脸模型对人脸表情图像进行展开，从而去除每个视角下人脸表情图像的视角信息；人脸贴图生成模块，所述人脸贴图生成模块被配置为通过对展开后人脸表情图像进行合成，生成闭合三维人脸贴图；人脸表情图像生成模块，所述人脸表情图像生成模块被配置为根据闭合三维人脸模型、闭合三维人脸贴图生成任意视角下的人脸表情图像。
[0021]
本发明的有益效果：
[0022]
本发明实施例的一种模拟相机任意视角拍摄的图像增强方法及系统，先获取不同视角下的人脸表情图像，并根据人脸表情图像生成三维人脸模型，然后通过对三维人脸模型口腔、人脸边缘处进行闭合操作，生成闭合三维人脸模型，再根据闭合三维人脸模型对人脸表情图像进行展开，从而去除每个视角下人脸表情图像的视角信息，进而对展开后人脸表情图像进行合成，生成闭合三维人脸贴图，最后根据闭合三维人脸模型、闭合三维人脸贴图生成任意视角下的人脸表情图像，从而实现只采集几个视角的人脸表情图像情况下，获
得任意视角、且具有良好一致性人脸表情图像。
[0023]
本发明的特征及优点将通过实施例结合附图进行详细说明。
附图说明
[0024]
图1为本发明实施例一种模拟相机任意视角拍摄的图像增强方法的流程框图之一；
[0025]
图2为本发明实施例一种模拟相机任意视角拍摄的图像增强方法的流程框图之二；
[0026]
图3为本发明实施例一种模拟相机任意视角拍摄的图像增强方法的流程框图之三；
[0027]
图4为本发明实施例一种模拟相机任意视角拍摄的图像增强方法的流程框图之四；
[0028]
图5为本发明实施例一种模拟相机任意视角拍摄的图像增强方法的流程框图之五；
[0029]
图6为本发明实施例一种模拟相机任意视角拍摄的图像增强系统的结构框图之一；
[0030]
图7为本发明实施例一种模拟相机任意视角拍摄的图像增强系统的结构框图之二；
[0031]
图8为本发明实施例一种模拟相机任意视角拍摄的图像增强系统的结构框图之三；
[0032]
图9为本发明实施例一种模拟相机任意视角拍摄的图像增强系统的结构框图之四。
具体实施方式
[0033]
为了便于本领域技术人员的理解，下面将结合具体实施例对本发明作进一步详细描述。
[0034]
参阅图1，本发明实施例提供了一种模拟相机任意视角拍摄的图像增强方法，包括下列步骤：
[0035]
步骤s10，获取不同视角下的人脸表情图像。
[0036]
本步骤中，可通过设于目标人脸不同位置处的多个图像采集设备同时采集任意几个视角下的人脸表情图像，图像采集设备的数量没有限制。
[0037]
优选地，可通过面捕头盔上下并排放置的两个相机来采集上下两个视角下的人脸表情图像，需要说明的是，面捕头盔是专门采集人脸图像的设备，具有光照环境和摄像头位置固定的优点，相比于采用普通摄像头进行人脸采集，面捕头盔可以提供更加干净的图像数据，从而保证利用该人脸表情图像重构的三维模型更像目标人脸，更具真实性。此外，采集上下两个视角下的人脸表情图像的目的是可以获取人脸下颚以及正面的表情运动信息。
[0038]
步骤s20，根据人脸表情图像生成三维人脸模型。
[0039]
本步骤中，先介绍根据人脸表情图像生成三维人脸模型的原理：先对人脸表情图像进行标注得到关键点注释s，再保持相机焦距f不变并移动相机使由基础三维人脸模型m
得到的二维图像与人脸表情图像重合，此时相机相对于基础三维人脸模型m的位移为转移矩阵t，实际应用中，可通过标定来获取相机焦距f以及每个视角下的转移矩阵t。
[0040]
然后通过索引基础三维人脸模型m上的顶点建立基础三维人脸模型m与关键点注释s之间的对应关系，因为在现有的生成三维人脸模型过程中，任何三维人脸模型可以通过在基础三维人脸模型的顶点上增加偏移量ds来表示，故在上述对应关系的基础上可构建三维人脸模型与基础三维人脸模型m的优化问题，再通过现有的非线性优化框架求出偏移量ds的值，从而实现根据人脸表情图像生成三维人脸模型。
[0041]
较佳地，可以按照图2所示的流程来生成三维人脸模型，包括以下步骤：
[0042]
步骤s210，对人脸表情图像进行标注，得到关键点注释；
[0043]
步骤s220，获取转移矩阵，所述转移矩阵为人脸表情图像与基础人脸图像重合时，相机与基础三维人脸模型的相对位移参数，所述基础人脸图像为通过渲染基础三维人脸模型得到的二维图像；
[0044]
步骤s230，建立基础三维人脸模型与其关键点注释之间的对应关系，使s＝map(p(f*t*m) pix_bias))，其中s代表关键点注释，map代表索引模型顶点，p(x,y,z)＝[x/z,y/z,z/z]，x、y、z代表空间坐标，f代表相机焦距，t代表转移矩阵，m代表基础三维人脸模型，pix_bias代表像素中心误差。
[0045]
步骤s240，根据所述对应关系对基础三维人脸模型进行优化，生成三维人脸模型。
[0046]
本实施例中，考虑到相机离被拍摄人脸非常近，引入透视操作p(x,y,z)＝[x/z,y/z,z/z]来消除透视现象造成的误差，从而使后续人脸表情图像展开以及合成的效果更好、精确度更高，本实施例的发明点在于创建了一个简化的相机模型p(f*t*m) pix_bias)，并建立基础三维人脸模型m与关键点注释s之间的对应关系，相比于现有三维人脸模型的生成方法，具有计算复杂度更低、效果更好等优点。
[0047]
步骤s30，通过对三维人脸模型口腔、人脸边缘处进行闭合操作，生成闭合三维人脸模型。
[0048]
请参考图3，其中对三维人脸模型口腔处进行闭合操作具体包括以下步骤：
[0049]
步骤s310，选择三维人脸模型内嘴唇处的n个顶点vl，所述顶点vl按照顺序沿内嘴唇围成一圈。由于n为10的情况下，能保证不影响最终生成的闭合三维人脸模型效果的前提下，减少所需计算量，故优选选择三维人脸模型内嘴唇处的10个顶点vl。
[0050]
步骤s320，根据顶点vl指定三角面fi＝(vli,vl
i 1
,vl
i 2
)，其中i表示第i个顶点。
[0051]
本实施例中，根据上述指定的内嘴唇处的n个顶点vl，依次选择位于上、下嘴唇的三个顶点来创建顶点对应的三角面，在n为10的情况下，i小于9。
[0052]
请参考图4，对三维人脸模型的人脸边缘处进行闭合操作具体包括以下步骤：
[0053]
步骤s330，选择三维人脸模型人脸边缘处的m个顶点vb，所述顶点vb按照顺序沿人脸边缘处围成一圈。由于m为15的情况下，能保证不影响最终生成的闭合三维人脸模型效果的前提下，减少所需计算量，故优选选择三维人脸模型人脸边缘处的15个顶点vb。
[0054]
步骤s340，计算每一个顶点vb的单位法向量n。
[0055]
步骤s350，沿每一个顶点vb法向量方向距离l的位置，选定顶点vbo，vbo＝l*n vb。由于口腔上嘴唇与下嘴唇的顶点可以构成一个面，而人脸的边缘轮廓上的顶点需要与环境构成一个平面，故人脸闭合与口腔闭合相比还多了一个重新选择顶点的步骤。
[0056]
步骤s360，根据顶点vb、顶点vbo指定三角面f
i1
＝(vbi,vboi,vb
i 1
)，三角面f
i2
＝(vboi,vb
i 1
,vbo
i 1
)，i表示第i个顶点。
[0057]
步骤s40，根据闭合三维人脸模型对人脸表情图像进行展开，从而去除每个视角下人脸表情图像的视角信息。
[0058]
请参考图5，根据闭合三维人脸模型对人脸表情图像进行展开包括以下步骤；
[0059]
步骤s410，获取闭合三维人脸模型上的所有可见顶点以及所述可见顶点构成的可见三角面。
[0060]
步骤s420，将闭合三维人脸模型转换至像素坐标系。
[0061]
步骤s430，获取闭合三维人脸模型像素坐标系每个像素对应的重心坐标，从而得到人脸表情图像每个像素对应的重心坐标。
[0062]
具体的，通过判断闭合三维人脸模型每个像素坐标所属的可见三角面，从而得到闭合三维人脸模型的每一个像素对应的重心坐标[u,v,w]，因为人脸表情图像与闭合三维人脸模型像素坐标与完成重合，从而可以获得人脸表情图像每一个像素对应的重心坐标[u,v,w]。
[0063]
步骤s440，获取展开后人脸表情图像的像素坐标piwarp，piwarp＝u*pvis
vd1
v*pvis
vd2
w*pvis
vd3
，其中pvis
vd1
、pvis
vd2
、pvis
vd3
为每个可见三角面三个顶点所对应的像素坐标，u、v、w分别为人脸表情图像每个像素对应重心坐标的分量。
[0064]
步骤s450，通过所述像素坐标piwarp对人脸表情图像进行采样，得到展开后人脸表情图像iwarp。
[0065]
步骤s50，通过对展开后人脸表情图像进行合成，生成闭合三维人脸贴图。
[0066]
在视角为两个的情况下，通过公式icom＝w1*iwarp1 (1-w1)*iwarp2对两张展开后图片进行图像合成，其中icom代表生成的闭合三维人脸贴图，iwarp1、iwarp2分别代表上、下两个视角人脸表情图像的展开后图像，w1代表可调系数。在多个视角情况下，本领域技术人员，在上述公式基础上增加代表额外视角的项，在此不再赘述。
[0067]
步骤s60，根据闭合三维人脸模型、闭合三维人脸贴图生成任意视角下的人脸表情图像。
[0068]
综上所述，本发明实施例一种模拟相机任意视角拍摄的图像增强方法，先获取不同视角下的人脸表情图像，并根据人脸表情图像生成三维人脸模型，然后通过对三维人脸模型口腔、人脸边缘处进行闭合操作，生成闭合三维人脸模型，再根据闭合三维人脸模型对人脸表情图像进行展开，从而去除每个视角下人脸表情图像的视角信息，进而对展开后人脸表情图像进行合成，生成闭合三维人脸贴图，最后根据闭合三维人脸模型、闭合三维人脸贴图生成任意视角下的人脸表情图像，从而实现只采集几个视角的人脸表情图像情况下，获得任意视角、且具有良好一致性人脸表情图像。
[0069]
基于上述一种模拟相机任意视角拍摄的图像增强方法，本发明实施例还提供了一种模拟相机任意视角拍摄的图像增强系统，如图6所示，该系统包括以下模块：
[0070]
人脸表情图像获取模块11，所述人脸表情图像获取模块被配置为获取不同视角下的人脸表情图像。
[0071]
三维人脸模型生成模块21，所述三维人脸模型生成模块被配置为根据人脸表情图像生成三维人脸模型。
[0072]
闭合三维人脸模型生成模块31，所述闭合三维人脸模型生成模块被配置为通过对三维人脸模型口腔、人脸边缘处进行闭合操作，生成闭合三维人脸模型。
[0073]
人脸表情图像展开模块41，所述人脸表情图像展开模块被配置为根据闭合三维人脸模型对人脸表情图像进行展开，从而去除每个视角下人脸表情图像的视角信息。
[0074]
人脸贴图生成模块51，所述人脸贴图生成模块被配置为通过对展开后人脸表情图像进行合成，生成闭合三维人脸贴图。
[0075]
人脸表情图像生成模块61，所述人脸表情图像生成模块被配置为根据闭合三维人脸模型、闭合三维人脸贴图生成任意视角下的人脸表情图像。
[0076]
请参考图7，所述三维人脸模型生成模块21还包括以下子模块：
[0077]
标注模块211，所述标注模块被配置为对人脸表情图像进行标注，得到关键点注释。
[0078]
转移矩阵获取模块212，所述转移矩阵获取模块212被配置为获取转移矩阵，所述转移矩阵为人脸表情图像与基础人脸图像重合时，相机与基础三维人脸模型的相对位移参数，所述基础人脸图像为通过渲染基础三维人脸模型得到的二维图像。
[0079]
映射模块213，所述映射模块被配置为建立基础三维人脸模型与其关键点注释之间的对应关系，使s＝map(p(f*t*m) pix_bias))，其中s代表关键点注释，map代表索引模型顶点，p(x,y,z)＝[x/z,y/z,z/z]，x、y、z代表空间坐标，f代表相机焦距，t代表转移矩阵，m代表基础三维人脸模型，pix_bias代表像素中心误差。
[0080]
优化模块214，所述优化模块被配置为根据所述对应关系对基础三维人脸模型进行优化，生成三维人脸模型。
[0081]
请参考图8，所述闭合三维人脸模型生成模块31还包括以下子模块：
[0082]
内嘴唇顶点模块311，所述内嘴唇顶点模块被配置为选择三维人脸模型内嘴唇处的n个顶点vl，所述顶点vl按照顺序沿内嘴唇围成一圈。
[0083]
内嘴唇三角面模块312，所述内嘴唇三角面模块被配置为根据顶点vl指定三角面fi＝(vli,vl
i 1
,vl
i 2
)，其中i表示第i个顶点。
[0084]
第一人脸边缘顶点模块313，所述人脸边缘顶点模块被配置为选择三维人脸模型人脸边缘处的m个顶点vb，所述顶点vb按照顺序沿人脸边缘处围成一圈。
[0085]
法向量模块314，所述法向量模块被配置为计算每一个顶点vb的单位法向量n。
[0086]
第二人脸边缘顶点模块315，所述第二人脸边缘顶点模块被配置为沿每一个顶点vb法向量方向距离l的位置，选定顶点vbo，vbo＝l*n vb。
[0087]
人脸边缘三角面模块316，所述人脸边缘三角面模块被配置为根据顶点vb、顶点vbo指定三角面f
i1
＝(vbi,vboi,vb
i 1
)，三角面f
i2
＝(vboi,vb
i 1
,vbo
i 1
)，i表示第i个顶点。
[0088]
请参考图9，所述人脸表情图像展开模块41还包括以下子模块：
[0089]
顶点三角面模块411，顶点三角面模块被配置为获取闭合三维人脸模型上的所有可见顶点以及所述可见顶点构成的可见三角面。
[0090]
转换模块412，将闭合三维人脸模型转换至像素坐标系。
[0091]
重心坐标模块413，获取闭合三维人脸模型像素坐标系每个像素对应的重心坐标，从而得到人脸表情图像每个像素对应的重心坐标。
[0092]
像素展开模块414，获取展开后人脸表情图像的像素坐标piwarp，piwarp＝u*
pvis
vd1
v*pvis
vd2
w*pvis
vd3
，其中pvis
vd1
、pvis
vd2
、pvis
vd3
为每个可见三角面三个顶点所对应的像素坐标，u、v、w分别为人脸表情图像每个像素对应重心坐标的分量；
[0093]
采样模块415，通过所述像素坐标piwarp对人脸表情图像进行采样，得到展开后人脸表情图像iwarp。
[0094]
综上所述，本发明实施例的一种模拟相机任意视角拍摄的图像增强系统，该系统可以实现为一种程序的形式，在计算机设备上运行。计算机设备的存储器中可存储组成该模拟相机任意视角拍摄的图像增强系统的各个程序模块，比如，图5所示的人脸表情图像获取模块11、三维人脸模型生成模块21、闭合三维人脸模型生成模块31、人脸表情图像展开模块41、人脸贴图生成模块51、人脸表情图像生成模块61。各个程序模块构成的程序使得处理器执行本说明书中描述的本技术各个实施例的一种模拟相机任意视角拍摄的图像增强方法中的步骤。
[0095]
上述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0096]
上述实施例是对本发明的说明，不是对本发明的限定，任何对本发明简单变换后的方案均属于本发明的保护范围。以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。