一种人像唇部的自动上妆方法、装置、设备和存储介质与流程

1.本发明涉及音、视频及图像处理领域，具体涉及一种人像唇部的自动上妆方法、装置、设备和存储介质。


背景技术：

2.随着智能终端图像处理技术的发展，智能终端在通过相机采集人像信息后，可以按照用户选择对所采集人像进行自动上妆，这项功能已经广泛应用于智能终端自身的照相、摄像应用，以及互联网直播时对实时采集的人像的处理。其中，对嘴唇上妆时，先通过人像对嘴唇轮廓进行确定，再依据用户选择的口红色号进行上色。
3.而在摄像或互联网直播过程中，人像尤其是面部区域几乎时刻处于动态变化中。而现有技术在嘴唇上妆时，直接按照人脸检测关键点标注的基础上进行曲线拟合并上色，对于关键点的位置不做调整，导致当光线或人脸角度发生变化时，嘴唇及嘴角的关键点位置不准，与实际位置不符，对上妆效果产生较大影响。


技术实现要素：

4.鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的人像唇部的自动上妆方法和相应的人像唇部的自动上妆装置，计算设备以及计算机存储介质。
5.根据本发明的一个方面，提供了一种人像唇部的自动上妆方法，所述方法包括：
6.从人像面部图像中提取嘴唇关键点，并检测人像面部图像中的人像面部朝向以及嘴唇形态，根据人像面部朝向以及嘴唇形态，调整所述嘴唇关键点的位置；
7.检测所述人像面部图像中的人脸区域的皮肤色调和皮肤色号，根据所述皮肤色调和所述皮肤色号，从口红颜色样本库中选择目标口红颜色；
8.依据所述嘴唇关键点的位置使用所述目标口红颜色进行融合上色。
9.上述方案中，所述从人像面部图像中提取嘴唇关键点进一步包括：
10.识别人像面部图像中的面部轮廓及五官，为人像面部图像设置关键点，从全部关键点中提取嘴唇关键点；其中，所述嘴唇关键点用于描述嘴唇图像信息。
11.上述方案中，在所述根据人像面部朝向以及嘴唇形态，调整所述嘴唇关键点的位置之前，所述方法还包括：
12.根据嘴唇形态以及所述嘴唇关键点中的嘴角关键点，判断是否对所述嘴唇关键点的位置进行调整。
13.上述方案中，所述根据嘴唇形态以及所述嘴唇关键点中的嘴角关键点，判断是否对所述嘴唇关键点的位置进行调整进一步包括：
14.当所述嘴唇形态为未张嘴形态或张嘴程度小于第一预设程度阈值时，所述嘴角关键点不符合第一预设条件，则对所述嘴唇关键点的位置进行调整；其中，所述第一预设条件为在灰度色彩空间中所述嘴角关键点中间的像素点的亮度低于第一预设阈值；
15.当所述嘴唇形态为张嘴形态且张嘴程度大于第二预设程度阈值时，若所述嘴角关键点不符合第二预设条件，则对所述嘴唇关键点的位置进行调整；其中，所述第一预设程度阈值小于或等于所述第二预设程度阈值；所述第二预设条件为所述嘴角关键点位于嘴唇区域的边缘附近且未同时位于肤色区域或唇色区域中。
16.上述方案中，所述根据人像面部朝向以及嘴唇形态，调整所述嘴唇关键点的位置进一步包括：
17.针对所述嘴唇关键点中的侧边嘴角关键点，当所述人像面部朝向为正脸朝向且所述嘴唇形态为未张嘴形态时，在正脸调整区域中查找最暗的两个像素点，将所述两个像素点的中间位置作为侧边嘴角关键点调整后的位置；其中，所述正脸调整区域是根据所述侧边嘴角关键点的位置向四周扩展第一预设数量的像素点所形成的区域；
18.当所述人像面部朝向为正脸朝向且所述嘴唇形态为张嘴形态时，对正脸调整区域进行边缘检测，依据第一边缘检测结果确定第一参照点，以所述第一参照点为中心，查找肤色区域和唇色区域的第一肤色分界点和第一唇色分界点，将所述第一肤色分界点和所述第一唇色分界点的中间位置作为侧边嘴角关键点调整后的位置；
19.当所述人像面部朝向为左偏朝向或者右偏朝向且所述嘴唇形态为未张嘴形态时，在侧偏调整区域中查找最暗的像素点，依据所述最暗的像素点在侧偏调整区域中的相对位置，调整侧边嘴角关键点的位置；其中，所述侧偏调整区域是根据所述侧边嘴角关键点的位置向左右方向扩展第二预设数量的像素点且向上下方向扩展第三预设数量的像素点所形成的区域；
20.当所述人像面部朝向为左偏朝向或者右偏朝向且所述嘴唇形态为张嘴形态时，在侧偏调整区域中查找最暗的像素点，并对侧偏调整区域进行边缘检测，依据第二边缘检测结果确定第二参照点，以所述第二参照点为中心，查找肤色区域和唇色区域的第二肤色分界点和第二唇色分界点，依据最暗的像素点在侧偏调整区域中的相对位置、所述第二肤色分界点以及所述第二唇色分界点，调整侧边嘴角关键点的位置。
21.上述方案中，所述检测所述人像面部图像中的人脸区域的皮肤色调和皮肤色号进一步包括：
22.根据所述人像面部图像中的人脸区域的颜色参数，计算出对应的皮肤色调判断系数；当所述皮肤色调判断系数处于第一预设区间之内时，则判定所述皮肤色调为冷色调；当所述皮肤色调判断系数处于第二预设区间之内时，则判定所述皮肤色调为暖色调；当所述皮肤色调判断系数不处于第一预设区间且不处于第二预设区间之内时，则判定所述皮肤色调为中性色调；
23.根据所述人像面部图像中的人脸区域的颜色参数，计算出对应的皮肤色号判断系数；根据所述皮肤色号判断系数判断所述人脸区域的皮肤色号。
24.上述方案中，所述根据所述皮肤色调和所述皮肤色号，从口红颜色样本库中选择目标口红颜色进一步包括：
25.根据预设的配色系数对口红颜色样本库中所有口红颜色进行区间划分，并配置各个口红颜色区间与预设皮肤色调之间的对应关系；
26.依据各个口红颜色区间与预设皮肤色调之间的对应关系，查找所述人脸区域的皮肤色调对应的目标口红颜色区间；
27.根据所述人脸区域的皮肤色号，在目标口红颜色区间中选择对应的口红色号。
28.根据本发明的另一方面，提供了一种人像唇部的自动上妆装置，包括：关键点确定模块、颜色选择模块以及融合上色模块；其中，
29.所述关键点确定模块，用于从人像面部图像中提取嘴唇关键点，并检测人像面部图像中的人像面部朝向以及嘴唇形态，根据人像面部朝向以及嘴唇形态，调整所述嘴唇关键点的位置；
30.所述颜色选择模块，用于检测所述人像面部图像中的人脸区域的皮肤色调和皮肤色号，根据所述皮肤色调和所述皮肤色号，从口红颜色样本库中选择目标口红颜色；
31.所述融合上色模块，用于依据所述嘴唇关键点的位置使用所述目标口红颜色进行融合上色。
32.根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
33.所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如上述的人像唇部的自动上妆方法对应的操作。
34.根据本发明的再一方面，提供了一种计算机存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行如上述的人像唇部的自动上妆方法对应的操作。
35.根据本发明提供的技术方案，通过从人像面部图像提取嘴唇关键点，并根据检测到的人像面部朝向及嘴唇形态，调整所述嘴唇关键点的位置，确保了调整后嘴唇关键点位置的准确性；然后再根据检测到的人像面部图像的皮肤色调和皮肤色号自动选择合适的口红颜色并上色。由此解决了现有技术中直接按照人脸检测关键点标注的基础上进行曲线拟合并上色，在人像光线、角度等发生变化时关键点位置不准确、上妆有瑕疵的问题，同时，省去了用户自己选择口红颜色的步骤，根据相应条件自动选择口红颜色并上色，更符合人类审美，提高了上妆的效率以及用户体验。
36.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
37.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
38.图1a示出了根据本发明一个实施例的人像唇部的自动上妆方法的流程示意图；
39.图1b示出了人像面部图像关键点的示意图；
40.图2示出了根据本发明另一个实施例的人像唇部的自动上妆方法中调整嘴唇关键点位置的流程示意图；
41.图3示出了根据本发明另一个实施例的人像唇部的自动上妆方法中自动选择口红颜色的流程示意图；
42.图4示出了根据本发明一个实施例的人像唇部的自动上妆装置的结构框图；
43.图5示出了根据本发明实施例的一种计算设备的结构示意图。
具体实施方式
44.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
45.图1示出了根据本发明一个实施例的人像唇部的自动上妆方法的流程示意图，如图1所示，该方法包括如下步骤：
46.步骤s101，从人像面部图像中提取嘴唇关键点，并检测人像面部图像中的人像面部朝向以及嘴唇形态。
47.具体的，所述从人像面部图像中提取嘴唇关键点进一步包括：
48.识别人像面部图像中的面部轮廓及五官，为人像面部图像设置关键点，从全部关键点中提取嘴唇关键点；其中，所述嘴唇关键点用于描述嘴唇图像信息。
49.图1b示出了人像面部图像关键点的示意图，在识别人像面部图像中的面部轮廓及五感后，为人像面部图像设置的关键点如图1b所示。其中，图1b仅为本发明一个实施例中面部图像关键点示意图，本说明书仅以图1b中的68点标准设置的关键点为例来说明本技术中的人像唇部的自动上妆方法。
50.图1b中所示的全部关键点中，以49、55、51、53、58为边界，向外扩展20个像素作为嘴唇区域，49至68号关键点为嘴唇关键点，用于描述嘴唇图像信息。
51.具体的，所述检测人像面部图像中的人像面部朝向以及嘴唇形态进一步包括：
52.所述面部朝向包括：正脸朝向、左偏朝向、右偏朝向；嘴唇形态包括：张嘴、未张嘴；
53.从所述嘴唇关键点49至68中提取左侧嘴唇关键点、与所述左侧嘴唇关键点对应的右侧嘴唇关键点、上侧嘴唇关键点以及与所述上侧嘴唇关键点对应的下侧嘴唇关键点；
54.其中，所述左侧嘴唇关键点为面部垂直中线左侧的嘴唇关键点，包括：49、50、51、59、60、61、62、68；所述右侧嘴唇关键点为面部垂直中线右侧的嘴唇关键点，包括：53、54、55、56、57、64、65、66。另外，以面部垂直中线为对称轴，相互对称的左侧嘴唇关键点和右侧嘴唇关键点，即为对应的左侧嘴唇关键点和右侧嘴唇关键点，例如：左侧嘴唇关键点50与右侧嘴唇关键点54以面部中线为对称轴相对称，即左侧嘴唇关键点50与右侧嘴唇关键点54相对应。所述上侧嘴唇关键点为除左侧和右侧嘴唇关键点外，位于嘴唇水平中线上侧的嘴唇关键点，包括：52和63。所述下侧嘴唇关键点为为除左侧和右侧嘴唇关键点外，位于嘴唇水平中线下侧的嘴唇关键点，包括：58和67。另外，以嘴唇水平中线为对称轴，上下对称的上侧嘴唇关键点与下侧嘴唇关键点，即为相互对应的上侧嘴唇关键点和下侧嘴唇关键点，例如上侧嘴唇关键点52与下侧嘴唇关键点58相对应。
55.计算所述左侧嘴唇关键点在x轴方向上的第一位置差、所述右侧嘴唇关键点在x轴方向上的第二位置差以及所述上侧嘴唇关键点与所述下侧嘴唇关键点在y轴方向上的第三位置差；
56.其中，计算所述第一位置差需要从所述左侧嘴唇关键点中提取任意两个关键点，提取出的这两个关键点在x轴方向上的位置差即为所述第一位置差。例如，在左侧嘴唇关键点中提取嘴唇关键点49和50，则所述第一位置差为嘴唇关键点49和50在x轴方向上的位置差；
57.计算所述第二位置差需要从所述右侧嘴唇关键点中提取与已提取的两个左侧关键点相对应的两个关键点，提取出的这两个关键点在x轴方向上的位置差即为所述第二位置差。例如，若左侧嘴唇关键点提取了49和50，则在右侧嘴唇关键点中提取对应的嘴唇关键点55和54，则所述第二位置差为嘴唇关键点55和54在x轴方向上的位置差；
58.计算所述第三位置差需要提取一个上侧嘴唇关键点以及与其对应的一个下侧嘴唇关键点，提取出的这两个关键点在y轴方向上的位置差即为所述第三位置差。例如在上侧嘴唇关键点中提取63，则在下侧嘴唇关键点中提取67，则所述第三位置差为嘴唇关键点63和67在y轴方向上的位置差。
59.根据人像面部图像中人脸区域的宽度、高度、图像分辨率、所述第一位置差以及所述第二位置差，确定人像面部朝向；其中，所述人像面部朝向包括：正脸朝向、左偏朝向以及右偏朝向；
60.根据人像面部图像中人脸区域的宽度、高度、图像分辨率以及所述第三位置差，确定嘴唇形态。
61.优选的，判断面部朝向的方法可以为：
62.设d1＝p51.
x
‑
p50.
x
，d2＝p54.
x
‑
p53.
x
，
63.其中，d1为关键点51和50在x轴方向上的位置差，即所述第一位置差，d2为关键点54和53在x轴方向上的位置差，即所述第二位置差，r
w
为人脸区域的宽，r
h
为人脸区域的高，wh为图像分辨率，p52.
x
‑
p51.
x
为关键点52和51在x轴方向上的位置差。
64.若d1‑
d2>δ
x
，则判定面部朝向为右偏朝向；若d2‑
d1>δ
x
，则判定面部朝向为左偏朝向；否则，判断面部朝向为正脸朝向。
65.判断嘴唇形态的方法可以为：
66.设open
y
＝p67.
y
‑
p63.
y
，
67.其中，open
y
为关键点67和63在y轴方向上的位置差，即所述第三位置差；p58.
y
‑
p67.
y
为关键点67和58在y轴方向上的位置差；此外，设第一预设程度阈值y1，第二预设程度阈值y2，且y2>y1。
68.若open
y
≥δ
y
，则判定嘴唇形态为张嘴；若open
y
<δ
y
，则判定嘴唇形态为未张嘴；
69.当嘴唇形态为张嘴时，若open
y
<y1，则判定嘴唇形态为张嘴程度较小，即张嘴程度小于第一预设程度阈值；open
y
>y2，则判定嘴唇形态为张嘴程度较大，即张嘴程度大于第二预设程度阈值。
70.步骤s102，根据人像面部朝向以及嘴唇形态，调整所述嘴唇关键点的位置。
71.具体的，在所述根据人像面部朝向以及嘴唇形态，调整所述嘴唇关键点的位置之前，还包括：
72.根据嘴唇形态以及所述嘴唇关键点中的嘴角关键点，判断是否对所述嘴唇关键点的位置进行调整。
73.当所述嘴唇形态为未张嘴形态或张嘴程度小于第一预设程度阈值时，若所述嘴角关键点不符合第一预设条件，则对所述嘴唇关键点的位置进行调整；其中，所述第一预设条件为，在灰度色彩空间中，所述嘴角关键点中间的像素点的亮度低于第一预设阈值；
74.当所述嘴唇形态为张嘴形态且张嘴程度大于第二预设程度阈值时，若所述嘴角关键点不符合第二预设条件，则对所述嘴唇关键点的位置进行调整；其中，所述第一预设程度阈值小于或等于所述第二预设程度阈值；所述第二预设条件为，所述嘴角关键点位于嘴唇区域的边缘附近且未同时位于肤色区域或唇色区域中。
75.具体的，当人像没有张嘴或张嘴程度较小时，若人像未改变朝向或嘴唇没有改变形状，则两嘴角关键点中间点应处于上下嘴唇交界处，相较于四周，所述中间点处于凹陷处的阴影区域。因此在灰度色彩空间中，若该点的亮度比周围宏块的亮度更低则说明它处于所述阴影区域，即可以判断人像未改变朝向或嘴唇没有改变形状。反之，若人像改变了朝向或嘴唇形状发生改变，则该中心点不处于该所述阴影区域，因此在灰度色彩空间中，该中心点的亮度不一定比周围宏块的亮度更低。
76.因此，第一预设条件可为：在灰度色彩空间中，所述嘴角关键点中间的像素点的亮度低于第一预设阈值。那么当所述嘴唇形态为未张嘴形态或张嘴程度小于第一预设程度阈值时，若在灰度色彩空间中，所述嘴角关键点中间的像素点的亮度不低于第一预设阈值，则对所述嘴唇关键点的位置进行调整；
77.优选的，所述第一预设阈值可以为，嘴唇区域中亮度最暗的10％。
78.具体的，当人像张嘴正常或张嘴程度较大时，若人像未改变朝向或嘴唇没有改变形状，则两嘴角关键点处于周围宏块的边缘附近，同时，嘴角关键点只位于肤色区域或是唇色区域；反之，若人像改变了朝向或嘴唇形状发生了改变，则嘴角关键点所处位置也发生了变化，即将不在处于周围宏块的边缘，且其所在的肤色区域和唇色区域可能发生重合，则需要对嘴角关键点的位置进行调整。
79.因此，第二预设条件可为：所述嘴角关键点位于嘴唇区域的边缘附近且未同时位于肤色区域或唇色区域中。那么当所述嘴唇形态为张嘴形态且张嘴程度大于第二预设程度阈值时，若所述嘴角关键点位于嘴唇区域的边缘附近且未同时位于肤色区域或唇色区域中，则不对所述嘴唇关键点的位置进行调整；其中，所述第一预设程度阈值小于或等于所述第二预设程度阈值。
80.步骤s103，检测所述人像面部图像中的人脸区域的皮肤色调和皮肤色号。
81.具体的，根据所述人像面部图像中的人脸区域的颜色参数，计算出对应的皮肤色调判断系数，根据所述皮肤色调判断系数判断所述人像面部图像中的人脸区域的皮肤色调；根据所述人像面部图像中的人脸区域的颜色参数，计算出对应的皮肤色号判断系数；根据所述皮肤色号判断系数判断所述人脸区域的皮肤色号。
82.步骤s104，根据所述皮肤色调和所述皮肤色号，从口红颜色样本库中选择目标口红颜色。
83.具体的，根据预设的配色系数对口红颜色样本库中所有口红颜色进行区间划分，并配置各个口红颜色区间与预设皮肤色调之间的对应关系；
84.依据各个口红颜色区间与预设皮肤色调之间的对应关系，查找所述人脸区域的皮肤色调对应的目标口红颜色区间；
85.根据所述人脸区域的皮肤色号，在目标口红颜色区间中选择对应的口红色号。
86.优选的，所述预设的配色系数可以为：
87.其中，μ
l
为人脸区域在lab色彩空间中亮度l的均值；ξ
tone
为人脸区域的皮肤色调判断系数；η
level
为人脸区域的皮肤色号判断系数；l
max
为人脸区域在lab色彩空间中亮度l的最大值；l
min
为人脸区域在lab色彩空间中亮度l的最小值。
88.将口红颜色样本库中的口红颜色依据配色系数φ进行区间划分，划分出从蓝调调色到黄调调色的口红颜色区间。
89.步骤s105，依据所述嘴唇关键点的位置使用所述目标口红颜色进行融合上色。
90.具体的，依据经过确定的所述嘴唇关键点的位置，准确描述出人像面部图像中的嘴唇图像信息，并基于此对人像嘴唇进行融合上色；其中，融合上色所用颜色为步骤s104确定出的口红色号对应的口红颜色。
91.根据本实施例提供的人像唇部的自动上妆方法，从人像面部图像中提取嘴唇关键点，并检测人像面部朝向以及嘴唇形态，进而调整所述嘴唇关键点的位置。同时，检测人像面部图像中的人脸区域的皮肤色调和皮肤色号，进而从口红颜色样本库中选择目标口红颜色。最终，依据嘴唇关键点的位置和选择的口红颜色对人像的嘴唇进行融合上色。利用本发明提供的技术方案，能够基于从人像面部图像中提取的嘴唇关键点，能够检测人像的面部朝向和嘴唇形态，并调整人像中嘴唇关键点的位置，修正由不同的面部朝向和嘴唇形态带来的关键点位置变化，使调整后的关键点位置符合当前人像的面部朝向和嘴唇形态；并基于检测到的皮肤色调和皮肤色号，自动选择出适合的口红色号对人像嘴唇进行融合上色。有效解决了当人像面部朝向和嘴唇形态发生变化时，关键点无法调整导致的上色位置不准确的问题，并通过自动选择口红颜色简化了用户的操作步骤，即优化了上妆效果，同时降低了操作难度，有效提高了用户体验。
92.根据上述方法，图2示出了根据本发明另一个实施例的人像唇部的自动上妆方法中调整嘴唇关键点位置的流程示意图，如图2所示，该方法包括如下步骤：
93.步骤s201，分别确定唇色区域的唇色判断准则和肤色区域的肤色判断准则。
94.具体的，在唇色区域计算lab色彩空间的a
‑
b的均值方差比，作为唇色判断准则；在脸颊区域找任意区域，计算lab色彩空间的a
‑
b的均值方差比，作为肤色判断准则。
95.优选的，依据关键点57，58，59，66，67，68确定唇色区域。
96.步骤s202，检测人像面部图像中的人像面部朝向以及嘴唇形态。
97.检测人像面部图像中的人像面部朝向以及嘴唇形态的具体方式已在前述实施例的步骤s101中进行了详细阐述，此处不再赘述。
98.其中，面部朝向分为正脸朝向、左偏朝向、右偏朝向；嘴唇形态分为：张嘴、未张嘴。
99.步骤s203，根据人像面部图像中的人像面部朝向以及嘴唇形态选择相应的调整方式调整嘴唇关键点的位置。
100.具体的，针对所述嘴唇关键点中的侧边嘴角关键点：
101.当所述人像面部朝向为正脸朝向且所述嘴唇形态为未张嘴形态时，在一侧正脸调整区域中查找最暗的两个像素点，将所述两个像素点的中间位置作为该侧侧边嘴角关键点调整后的位置；其中，所述正脸调整区域是根据所述侧边嘴角关键点的位置向四周扩展第一预设数量的像素点所形成的区域。由于人像处于正脸朝向且未张嘴形态，则一侧正脸调整区域中最暗处即为因凹陷而处于阴影的嘴角处，则最暗的两个像素点的中间位置可以较为准确的确定该侧的嘴角位置；同时，根据侧边嘴角关键点位置向四周扩展第一预设数量
的像素点确定正脸调整区域可以基于嘴角关键点位置保证区域的大致位置，且通过预设扩展的范围可在保证精确性的情况下保证足够的调整余地。
102.优选的，所述第一预设数量可以为10，即根据所述侧边嘴角关键点的位置向四周扩展10个像素点所形成的区域为正脸调整区域。
103.当所述人像面部朝向为正脸朝向且所述嘴唇形态为张嘴形态时，对正脸调整区域进行边缘检测，依据第一边缘检测结果确定第一参照点，以所述第一参照点为中心，查找肤色区域和唇色区域的第一肤色分界点和第一唇色分界点，将所述第一肤色分界点和所述第一唇色分界点的中间位置作为侧边嘴角关键点调整后的位置。通过边缘检测确定出原嘴角区域的第一参照点，又由于嘴角位置即为肤色和唇色的分界处，则基于第一参照点确定出第一肤色分界点和第一唇色分界点，二者的中间位置可以准确地表示侧边嘴角关键点调整后的位置。
104.其中，所述第一肤色分界点是根据肤色区域的肤色判断准则确定，所述第一唇色分界点根据唇色判断准则确定；
105.侧边嘴角关键点包括：左侧嘴角关键点和右侧嘴角关键点，其中，左侧嘴角关键点可包括49和61号关键点，右侧嘴角关键点可包括55和65号关键点。对侧边嘴角关键点的调整包括对左侧嘴角关键点的调整以及对右侧嘴角关键点的调整。
106.优选的，所述对正脸调整区域进行边缘检测可以为对正脸调整区域进行灰度图像的拉普拉斯边缘检测；对于左侧嘴角关键点的调整，可从第一边缘检测结果中的边缘点中选择距离49和61号关键点最近的点作为所述第一参照点；同理，对于右侧嘴角关键点的调整，可从第一边缘检测结果中的边缘点中选择距离55和65号关键点最近的点作为所述第一参照点。
107.当所述人像面部朝向为左偏朝向或者右偏朝向且所述嘴唇形态为未张嘴形态时，在侧偏调整区域中查找最暗的像素点，依据所述最暗的像素点在侧偏调整区域中的相对位置，调整侧边嘴角关键点的位置；其中，所述侧偏调整区域是根据所述侧边嘴角关键点的位置向左右方向扩展第二预设数量的像素点且向上下方向扩展第三预设数量的像素点所形成的区域。由于人像面部朝向发生改变，左偏朝向时，各个关键点也发生了移动，通过查找最暗点，并确定最暗点同原嘴角关键点的位置关系，可以更为精确地确定关键点位置。
108.优选的，所述侧偏调整区域可以分为左侧嘴角调整区域和右侧嘴角调整区域，依据左侧嘴角关键点确定出左侧嘴角调整区域，依据右侧嘴角关键点确定出右侧嘴角调整区域；在确定左侧嘴角调整区域时，第二预设数量可以为p61.
x
‑
p49.
x
，即关键点61与关键点49之间的像素个数；所述第三预设数量可以为10；在确定右侧嘴角调整区域时，第二预设数量可以为p65.
x
‑
p55.
x
，即关键点65与关键点55之间的像素个数；所述第三预设数量可以为10。
109.即左侧嘴角调整区域为以49号关键点向左扩展p61.
x
‑
p49.
x
个像素，以61号关键点向右扩展p61.
x
‑
p49.
x
个像素，并且以49和61号关键点上下扩展10个像素所形成的区域；右侧嘴角调整区域为以55号关键点向右扩展p65.
x
‑
p55.
x
个像素，以65号关键点向左扩展p65.
x
‑
p55.
x
个像素，上下扩展10个像素所形成的区域。
110.当所述人像面部朝向为左偏朝向或者右偏朝向且所述嘴唇形态为张嘴形态时，在侧偏调整区域中查找最暗的像素点，并对侧偏调整区域进行边缘检测，依据第二边缘检测结果确定第二参照点，以所述第二参照点为中心，查找肤色区域和唇色区域的第二肤色分
界点和第二唇色分界点，依据最暗的像素点在侧偏调整区域中的相对位置、所述第二肤色分界点以及所述第二唇色分界点，调整侧边嘴角关键点的位置。由于人像面部朝向发生改变且为张嘴形态，因此，基于嘴角较暗，通过边缘检测确定出边缘上的最暗点，再基于该最暗点同原嘴角关键点的位置关系，利用最暗点和肤色分界点或唇色分界点，精确地确定出调整后的嘴角关键点。
111.其中，所述第二肤色分界点根据肤色区域的肤色判断准则确定，所述第二唇色分界点根据唇色判断准则确定；
112.优选的，所述对侧偏调整区域进行边缘检测可以对侧偏调整区域进行灰度图像的拉普拉斯边缘检测；对于左侧嘴角关键点的调整，可从第二边缘检测结果中的边缘点中距离49和61号关键点最近的点作为所述第二参照点；同理，对于右侧嘴角关键点的调整，可从第二边缘检测结果中的边缘点中选择距离55和65号关键点最近的点作为所述第二参照点。
113.优选的，当人像面部朝向为左偏朝向或右偏朝向时，所述侧偏调整区域可以分为左侧嘴角调整区域和右侧嘴角调整区域，依据左侧嘴角关键点确定出左侧嘴角调整区域，依据右侧嘴角关键点确定出右侧嘴角调整区域；所述左侧嘴角调整区域为以49号关键点向左扩展p61.
x
‑
p49.
x
个像素，以61号关键点向右扩展p61.
x
‑
p49.
x
个像素，并且以49和61号关键点上下扩展10个像素所形成的区域；所述右侧嘴角调整区域为以55号关键点向右扩展p65.
x
‑
p55.
x
个像素，以65号关键点向左扩展p65.
x
‑
p55.
x
个像素，上下扩展10个像素所形成的区域。
114.当人像面部朝向为左偏朝向时，若左侧嘴角调整区域中最暗的像素点在49和61号关键点之间，则以49和61号关键点的中间位置作为左侧嘴角关键点调整后的位置；若左侧嘴角调整区域中最暗的像素点在49号关键点的左侧，则将所述最暗点向左扩展到第二肤色分界点，以所述最暗点和第二肤色临界点的中间位置作为左侧嘴角关键点调整后的位置；若左侧嘴角调整区域中最暗的像素点在61号关键点右侧，则将所述最暗点向右扩展到第二唇色分界点，以所述最暗点和第二唇色临界点的中间位置作为左侧嘴角关键点调整后的位置；
115.若右侧嘴角调整区域中最暗的像素点在55和65号关键点之间，则以55和65号关键点的中间位置作为右侧嘴角关键点调整后的位置；若右侧嘴角调整区域中最暗的像素点在55号关键点右侧，则将所述最暗点向右扩展到第二肤色分界点，以所述最暗点和第二肤色临界点的中间位置作为右侧嘴角关键点调整后的位置；若右侧嘴角调整区域中最暗的像素点在65号关键点左侧，则将所述最暗点向左扩展到第二唇色分界点，以所述最暗点和第二唇色临界点的中间位置作为右侧嘴角关键点调整后的位置。
116.同理，当人像面部朝向为右偏朝向时，分别确定左侧嘴角关键点调整后的位置以及右侧嘴角关键点调整后的位置。
117.根据上述方案，图3示出了根据本发明另一个实施例的人像唇部的自动上妆方法中自动选择口红颜色的流程示意图，如图3所示，该方法包括如下步骤：
118.步骤s301，确定人像面部图像中的人脸区域的皮肤色调。
119.具体的，所述人像面部图像中的人脸区域的皮肤色调包括：冷色调、暖色调、中性色调；根据所述人像面部图像中的人脸区域的颜色参数，计算出对应的皮肤色调判断系数；当所述皮肤色调判断系数处于第一预设区间之内时，则判定所述皮肤色调为冷色调；当所
述皮肤色调判断系数处于第二预设区间之内时，则判定所述皮肤色调为暖色调；当所述皮肤色调判断系数不处于第一预设区间且不处于第二预设区间之内时，则判定所述皮肤色调为中性色调；
120.优选的，将人像面部图像从rgb色彩空间变换到hsi色彩空间；其中，h为色调(hue)，s为饱和度(saturation或chroma)，i为亮度(intensity或brightness)；
121.根据人像面部图像中的人脸区域的色调h、饱和度s和亮度i，计算色调h的均值、方差、最大值、最小值；计算饱和度s的均值、方差；
122.在人像面部图像中的眼睛区域，通过将眼球区域的颜色，变换到lab色彩空间，计算眼球区域的b的均值；其中，b为lab色彩空间内黄色到蓝色之间的位置坐标；若b>0时，说明该区域颜色接近黄色，皮肤为暖色。
123.优选的，所述皮肤色调判断系数的计算方式为：
[0124][0125]
其中，h为人脸区域在hsi色彩区域中的色调，当h大于1.5π时，为h重新赋值为h
‑
2π；其他情况，h取值即为h原值。
[0126]
μ
h
为人脸区域的色调h的均值；μ
s
为人脸区域的饱和度s的均值；μ
b
为眼球区域的b坐标的均值；σ
h
为人脸区域的色调h的方差；σ
s
为人脸区域的饱和度s的方差；h
max
为人脸区域的色调h的最大值；h
min
为人脸区域的色调h的最小值。
[0127]
当ξ
tone
在之间时，则判定所述皮肤色调为冷色调；当ξ
tone
在之间时，则判定所述皮肤色调为暖色调；其他情况，则判定所述皮肤色调为中性色调。
[0128]
步骤s302，确定人像面部图像中的人脸区域的皮肤色号。
[0129]
具体的，根据所述人像面部图像中的人脸区域的颜色参数，计算出对应的皮肤色号判断系数；根据所述皮肤色号判断系数判断所述人脸区域的皮肤色号。
[0130]
优选的，计算hsi色彩空间中，计算色调h的均值、方差；计算亮度i的均值、方差、最大值、最小值；
[0131]
所述皮肤色号判断系数的计算方式为：
[0132][0133]
其中，h为人脸区域在hsi色彩区域中的色调，当h大于1.5π时，为h重新赋值为h
‑
2π；其他情况，h取值即为h原值。
[0134]
μ
i
为人脸区域的亮度i的均值；μ
h
为人脸区域的色调h的均值；σ
h
为人脸区域的色调h的方差；σ
i
为人脸区域的亮度i的方差；i
max
为人脸区域的亮度i的最大值；i
min
为人脸区域的亮度i的最小值。
[0135]
优选的，预设所述皮肤色号可包括：第一色号、第二色号和第三色号；
[0136]
当η
level
<th0时，则判定所述人脸区域的皮肤色号为第一色号；当η
1evel
>th1时，则判定所述人脸区域的皮肤色号为第三色号；其他情况，则判定所述人脸区域的皮肤色号为第
二色号；其中，th0、th1为预设的用于区分色号的色号阈值。
[0137]
步骤s303，对口红颜色样本库中所有口红颜色进行区间划分，并配置各个口红颜色区间与预设皮肤色调之间的对应关系。
[0138]
具体的，根据预设的配色系数对口红颜色样本库中所有口红颜色进行区间划分，再配置各个口红颜色区间与预设皮肤色调之间的对应关系；其中，所述预设皮肤色调包括：冷色调、暖色调、中性色调。
[0139]
优选的，所述配色系数预设的配色系数可以为：
[0140]
其中，ξ
tone
为人脸区域的皮肤色调判断系数；η
level
为人脸区域的皮肤色号判断系数；μ
l
为人脸区域在lab色彩空间中亮度l的均值；l
max
为人脸区域在lab色彩空间中亮度l的最大值；l
min
为人脸区域在lab色彩空间中亮度l的最小值。
[0141]
将口红颜色样本库中的口红颜色依据配色系数φ进行区间划分，划分出的从蓝调调色到黄调调色的口红颜色区间；
[0142]
优选的，各个口红颜色区间与预设皮肤色调之间的对应关系可以是：
[0143]
冷色调对应蓝绿色系的口红颜色区间，暖色调对应红黄色系的口红颜色区间，中性色调则可以对应全部色系的口红颜色区间。
[0144]
步骤s304，依据各个口红颜色区间与预设皮肤色调之间的对应关系，查找人脸区域的皮肤色调对应的目标口红颜色区间。
[0145]
具体的，依据步骤s301中确定的人像面部图像中的人脸区域的皮肤色调，以及步骤s304中确定的各个口红颜色区间与预设皮肤色调之间的对应关系，查找出所述人像面部图像具体对应的口红颜色区间。
[0146]
步骤s305，根据人脸区域的皮肤色号，在目标口红颜色区间中选择对应的口红色号。
[0147]
具体的，根据步骤s302中确定的人像面部图像中的人脸区域的皮肤色号从步骤s304查找出的口红颜色区间中选择出具体的适合所述人像面部图像肤色黄白程度的口红色号。
[0148]
图4示出了根据本发明一个实施例的人像唇部的自动上妆装置的结构框图，如图4所示，该装置包括：关键点确定模块401、颜色选择模块402和融合上色模块403；其中，
[0149]
所述关键点确定模块401，用于从人像面部图像中提取嘴唇关键点，并检测人像面部图像中的人像面部朝向以及嘴唇形态，根据人像面部朝向以及嘴唇形态，调整所述嘴唇关键点的位置。
[0150]
具体的，所述关键点确定模块401进一步适于：识别人像面部图像中的面部轮廓及五官，为人像面部图像设置关键点，从全部关键点中提取嘴唇关键点；其中，所述嘴唇关键点用于描述嘴唇图像信息。
[0151]
所述关键点确定模块401进一步适于：根据嘴唇形态以及所述嘴唇关键点中的嘴角关键点，判断是否对所述嘴唇关键点的位置进行调整。
[0152]
所述关键点确定模块401进一步适于：当所述嘴唇形态为未张嘴形态或张嘴程度小于第一预设程度阈值时，若所述嘴角关键点不符合第一预设条件，则对所述嘴唇关键点的位置进行调整；其中，所述第一预设条件为在灰度色彩空间中所述嘴角关键点中间的像
素点的亮度低于第一预设阈值；
[0153]
当所述嘴唇形态为张嘴形态且张嘴程度大于第二预设程度阈值时，若所述嘴角关键点不符合第二预设条件，则对所述嘴唇关键点的位置进行调整；其中，所述第一预设程度阈值小于或等于所述第二预设程度阈值；所述第二预设条件为所述嘴角关键点位于嘴唇区域的边缘附近且未同时位于肤色区域或唇色区域中。
[0154]
所述关键点确定模块401进一步适于：针对所述嘴唇关键点中的侧边嘴角关键点，当所述人像面部朝向为正脸朝向且所述嘴唇形态为未张嘴形态时，在正脸调整区域中查找最暗的两个像素点，将所述两个像素点的中间位置作为侧边嘴角关键点调整后的位置；其中，所述正脸调整区域是根据所述侧边嘴角关键点的位置向四周扩展第一预设数量的像素点所形成的区域；
[0155]
当所述人像面部朝向为正脸朝向且所述嘴唇形态为张嘴形态时，对正脸调整区域进行边缘检测，依据第一边缘检测结果确定第一参照点，以所述第一参照点为中心，查找肤色区域和唇色区域的第一肤色分界点和第一唇色分界点，将所述第一肤色分界点和所述第一唇色分界点的中间位置作为侧边嘴角关键点调整后的位置；
[0156]
当所述人像面部朝向为左偏朝向或者右偏朝向且所述嘴唇形态为未张嘴形态时，在侧偏调整区域中查找最暗的像素点，依据所述最暗的像素点在侧偏调整区域中的相对位置，调整侧边嘴角关键点的位置；其中，所述侧偏调整区域是根据所述侧边嘴角关键点的位置向左右方向扩展第二预设数量的像素点且向上下方向扩展第三预设数量的像素点所形成的区域；
[0157]
当所述人像面部朝向为左偏朝向或者右偏朝向且所述嘴唇形态为张嘴形态时，在侧偏调整区域中查找最暗的像素点，并对侧偏调整区域进行边缘检测，依据第二边缘检测结果确定第二参照点，以所述第二参照点为中心，查找肤色区域和唇色区域的第二肤色分界点和第二唇色分界点，依据最暗的像素点在侧偏调整区域中的相对位置、所述第二肤色分界点以及所述第二唇色分界点，调整侧边嘴角关键点的位置。
[0158]
所述颜色选择模块402，用于检测所述人像面部图像中的人脸区域的皮肤色调和皮肤色号，根据所述皮肤色调和所述皮肤色号，从口红颜色样本库中选择目标口红颜色。
[0159]
具体的，所述颜色选择模块402进一步适于：根据所述人像面部图像中的人脸区域的颜色参数，计算出对应的皮肤色调判断系数；当所述皮肤色调判断系数处于第一预设区间之内时，则判定所述皮肤色调为冷色调；当所述皮肤色调判断系数处于第二预设区间之内时，则判定所述皮肤色调为暖色调；当所述皮肤色调判断系数不处于第一预设区间且不处于第二预设区间之内时，则判定所述皮肤色调为中性色调；根据所述人像面部图像中的人脸区域的颜色参数，计算出对应的皮肤色号判断系数；根据所述皮肤色号判断系数判断所述人脸区域的皮肤色号。
[0160]
所述颜色选择模块402进一步适于：根据预设的配色系数对口红颜色样本库中所有口红颜色进行区间划分，并配置各个口红颜色区间与预设皮肤色调之间的对应关系；依据各个口红颜色区间与预设皮肤色调之间的对应关系，查找所述人脸区域的皮肤色调对应的目标口红颜色区间；根据所述人脸区域的皮肤色号，在目标口红颜色区间中选择对应的口红色号。
[0161]
所述融合上色模块403，用于依据所述嘴唇关键点的位置使用所述目标口红颜色
进行融合上色。
[0162]
具体的，所述融合上色模块403进一步适于：根据关键点确定模块401确定出的嘴唇关键点的位置以及颜色选择模块402选择出的对应的口红色号，对人像面部图像的嘴唇区域进行上色。
[0163]
根据本实施例提供的人像唇部的自动上妆装置，从人像面部图像中提取嘴唇关键点，并检测人像面部朝向以及嘴唇形态，进而调整所述嘴唇关键点的位置。同时，检测人像面部图像中的人脸区域的皮肤色调和皮肤色号，进而从口红颜色样本库中选择目标口红颜色。最终，依据嘴唇关键点的位置和选择的口红颜色对人像的嘴唇进行融合上色。利用本发明提供的技术方案，能够基于从人像面部图像中提取的嘴唇关键点，能够检测人像的面部朝向和嘴唇形态，并调整人像中嘴唇关键点的位置，修正由不同的面部朝向和嘴唇形态带来的关键点位置变化，使调整后的关键点位置符合当前人像的面部朝向和嘴唇形态；并基于检测到的皮肤色调和皮肤色号，自动选择出适合的口红色号对人像嘴唇进行融合上色。有效解决了当人像面部朝向和嘴唇形态发生变化时，关键点无法调整导致的上色位置不准确的问题，并通过自动选择口红颜色简化了用户的操作步骤，即优化了上妆效果，同时降低了操作难度，有效提高了用户体验。
[0164]
本发明还提供了一种非易失性计算机存储介质，计算机存储介质存储有至少一可执行指令，可执行指令可执行上述任意方法实施例中的人像唇部的自动上妆方法。
[0165]
图5示出了根据本发明实施例的一种计算设备的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。
[0166]
如图5所示，该计算设备可以包括：处理器(processor)502、通信接口(communications interface)504、存储器(memory)506、以及通信总线508。
[0167]
其中：
[0168]
处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。
[0169]
通信接口504，用于与其它设备比如客户端或其它服务器等的网元通信。
[0170]
处理器502，用于执行程序510，具体可以执行上述人像唇部的自动上妆方法实施例中的相关步骤。
[0171]
具体地，程序510可以包括程序代码，该程序代码包括计算机操作指令。
[0172]
处理器502可能是中央处理器cpu，或者是特定集成电路asic(application specific integrated circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个cpu；也可以是不同类型的处理器，如一个或多个cpu以及一个或多个asic。
[0173]
存储器506，用于存放程序510。存储器506可能包含高速ram存储器，也可能还包括非易失性存储器(non
‑
volatile memory)，例如至少一个磁盘存储器。
[0174]
程序510具体可以用于使得处理器502执行上述任意方法实施例中的人像唇部的自动上妆方法。程序510中各步骤的具体实现可以参见上述人像唇部的自动上妆方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
[0175]
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。
各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
[0176]
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
[0177]
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
[0178]
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
[0179]
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
[0180]
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本发明实施例中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
[0181]
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项
来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。