人脸数据标注方法、装置、电子设备及存储介质与流程

专利检索2026-08-15  21


本发明涉及数据处理领域,尤其涉及一种人脸数据标注方法、装置、电子设备及存储介质。


背景技术:

1、随着计算机视觉技术的发展,人脸检测已成为计算机视觉领域的重要应用之一,在安防、人脸识别、智能监控等领域得到了广泛应用。然而,现有的人脸检测器在检测过程中,可能会出现检测框的宽高比不一致的问题,这会影响后续的人脸特征提取和识别效果,出现这种情况的原因在于训练人脸检测器时所用的训练数据存在标注不一致性。具体的,由于标注人员对标注规则的理解差异和标注的主观性,人脸数据标注存在诸多的标注误差,比如,在相同人脸姿态下,标注人脸框的宽高比存在明显的差异,使得这种标注误差被带入到人脸检测器的训练中,导致在人脸检测器训练完成后,用于人脸检测时也会输出宽高比不一致的检测框,最近影响人脸特征提取和识别效果。因此,现有的训练数据存在标注框宽高比一致的情况,使得训练好的人脸检测器性能受影响,降低了人脸检测结果的精度。


技术实现思路

1、本发明实施例提供一种人脸数据标注方法,旨在解决现有的训练数据存在标注框宽高比一致的情况,使得训练好的人脸检测器性能受影响,降低了人脸检测结果的精度的问题。通过对初始标注图像中的初始人脸标注框进行空间变换矫正和人脸姿态的宽高比矫正,得到最终标注框来对初始标注图像中的初始标注框进行替换,得到最终标注图像,可以提高人脸图像的标注一致性,利用最终标注图像来对人脸检测器进行训练,可以改进人脸检测器的性能,有效解决人脸检测器输出检测框宽高比不一致的问题,进而提高人脸检测器的人脸检测结果精度。

2、第一方面,本发明实施例提供一种人脸数据标注方法,所述方法包括:

3、在初始标注图像中确定出目标人脸的第一人脸图像,以及在初始标注图像中确定出所述目标人脸的人脸姿态信息,所述初始标注图像包括目标人脸的初始人脸标注框,所述第一人脸图像根据所述初始人脸标注框进行确定,所述人脸姿态信息通过训练好的人脸姿态估计模型对所述目标人脸进行人脸姿态估计处理得到;

4、通过训练好的空间变换网络对所述第一人脸图像进行第一矫正,得到第二人脸图像,并基于所述第二人脸图像在所述初始标注图像中确定出所述目标对象的参考标注框;

5、根据所述人脸姿态信息确定对应的目标标注框宽高比,并根据所述目标标注框宽高比对所述参考标注框进行第二矫正,得到所述目标人脸的最终标注框,不同的人脸姿态信息对应不同的标注框宽高比;

6、将所述最终标注框替换所述初始标注图像中初始人脸标注框,得到所述目标人脸的最终标注图像。

7、可选的,所述通过训练好的空间变换网络对所述第一人脸图像进行第一矫正,得到第二人脸图像,并基于所述第二人脸图像在所述初始标注图像中确定出所述目标对象的参考标注框,包括:

8、通过训练好的空间变换网络对所述第一人脸图像进行空间变换,得到第二人脸图像以及所述第一人脸图像与所述第二人脸图像之间的映射矩阵;

9、通过预设的人脸框参数在所述第二人脸图像中确定出参考人脸框;

10、通过所述映射矩阵将所述参考人脸框逆映射到所述初始标注图像中,得到所述目标对象的参考标注框。

11、可选的,在所述根据所述人脸姿态信息确定对应的目标标注框宽高比之前,所述人脸数据标注方法还包括:

12、通过训练好的人脸姿态估计模型对所有初始标注图像中的目标人脸进行人脸姿态估计处理,得到所有目标人脸的人脸姿态信息;

13、确定所有初始人脸标注框的宽高比,并计算不同人脸姿态信息下所有初始人脸标注框的平均宽高比;

14、根据各个所述平均宽高比确定各个人脸姿态信息与标注框宽高比之间的对应关系。

15、可选的,所述根据所述目标标注框宽高比对所述参考标注框进行第二矫正,得到所述目标人脸的最终标注框,包括:

16、根据所述人脸姿态信息,确定所述目标人脸的人脸姿态角度;

17、基于所述目标标注框宽高比以及所述人脸姿态角度对所述参考标注框进行第二矫正,得到所述目标人脸的最终标注框。

18、可选的,所述基于所述目标标注框宽高比以及所述人脸姿态角度对所述参考标注框进行第二矫正,得到所述目标人脸的最终标注框,包括:

19、根据所述人脸姿态角度,确定第一左右边框预期偏移量以及第一上下边框预期偏移量;

20、根据所述目标标注框宽高比对所述左右边框预期偏移量以及所述上下边框预期偏移量进行调整,得到第二左右边框预期偏移量以及第二上下边框预期偏移量;

21、基于所述第二左右边框预期偏移量以及所述第二上下边框预期偏移量对所述参考标注框进行第二矫正,得到所述目标人脸的最终标注框。

22、第二方面,本发明实施例提供一种人脸检测模型的训练方法,所述人脸检测模型的训练方法包括以下步骤:

23、获取训练数据集以及待训练人脸检测模型,所述训练数据集中包括人脸标注图像,所述人脸标注图像通过如本发明实施例中任一项所述的人脸数据标注方法标注得到;

24、通过所述训练数据集对所述待训练人脸检测模型进行训练,训练完成后得到训练好的人脸检测模型。

25、第三方面,本发明实施例提供一种人脸数据标注装置,所述人脸数据标注装置包括:

26、第一处理模块,用于在初始标注图像中确定出目标人脸的第一人脸图像,以及在初始标注图像中确定出所述目标人脸的人脸姿态信息,所述初始标注图像包括目标人脸的初始人脸标注框,所述第一人脸图像根据所述初始人脸标注框进行确定,所述人脸姿态信息通过训练好的人脸姿态估计模型对所述目标人脸进行人脸姿态估计处理得到;

27、第一矫正模块,用于通过训练好的空间变换网络对所述第一人脸图像进行第一矫正,得到第二人脸图像,并基于所述第二人脸图像在所述初始标注图像中确定出所述目标对象的参考标注框;

28、第二矫正模块,用于根据所述人脸姿态信息确定对应的目标标注框宽高比,并根据所述目标标注框宽高比对所述参考标注框进行第二矫正,得到所述目标人脸的最终标注框,不同的人脸姿态信息对应不同的标注框宽高比;

29、第二处理模块,用于将所述最终标注框替换所述初始标注图像中初始人脸标注框,得到所述目标人脸的最终标注图像。

30、第四方面,本发明实施例提供一种人脸检测模型的训练装置,所述人脸检测模型的训练装置包括:

31、获取模块,用于获取训练数据集以及待训练人脸检测模型,所述训练数据集中包括人脸标注图像,所述人脸标注图像通过如本发明实施例中任一项所述的人脸数据标注方法标注得到;

32、训练模块,用于通过所述训练数据集对所述待训练人脸检测模型进行训练,训练完成后得到训练好的人脸检测模型。

33、第五方面,本发明实施例提供一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现本发明实施例提供的人脸数据标注方法中的步骤,或者所述处理器执行所述计算机程序时实现本发明实施例提供的人脸检测模型的训练方法中的步骤。

34、第六方面,本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现发明实施例提供的人脸数据标注方法中的步骤,或者所述计算机程序被处理器执行时实现发明实施例提供的人脸检测模型的训练方法中的步骤。

35、本发明实施例中,在初始标注图像中确定出目标人脸的第一人脸图像,以及在初始标注图像中确定出所述目标人脸的人脸姿态信息,所述初始标注图像包括目标人脸的初始人脸标注框,所述第一人脸图像根据所述初始人脸标注框进行确定,所述人脸姿态信息通过训练好的人脸姿态估计模型对所述目标人脸进行人脸姿态估计处理得到;通过训练好的空间变换网络对所述第一人脸图像进行第一矫正,得到第二人脸图像,并基于所述第二人脸图像在所述初始标注图像中确定出所述目标对象的参考标注框;根据所述人脸姿态信息确定对应的目标标注框宽高比,并根据所述目标标注框宽高比对所述参考标注框进行第二矫正,得到所述目标人脸的最终标注框,不同的人脸姿态信息对应不同的标注框宽高比;将所述最终标注框替换所述初始标注图像中初始人脸标注框,得到所述目标人脸的最终标注图像。通过对初始标注图像中的初始人脸标注框进行空间变换矫正和人脸姿态的宽高比矫正,得到最终标注框来对初始标注图像中的初始标注框进行替换,得到最终标注图像,可以提高人脸图像的标注一致性,利用最终标注图像来对人脸检测器进行训练,可以改进人脸检测器的性能,有效解决人脸检测器输出检测框宽高比不一致的问题,进而提高人脸检测模型的人脸检测结果精度。


技术特征:

1.一种人脸数据标注方法,其特征在于,所述方法包括以下步骤:

2.如权利要求1所述的人脸数据标注方法,其特征在于,所述通过训练好的空间变换网络对所述第一人脸图像进行第一矫正,得到第二人脸图像,并基于所述第二人脸图像在所述初始标注图像中确定出所述目标对象的参考标注框,包括:

3.如权利要求1所述的人脸数据标注方法,其特征在于,在所述根据所述人脸姿态信息确定对应的目标标注框宽高比之前,所述人脸数据标注方法还包括:

4.如权利要求1至3中任一所述人脸数据标注方法,其特征在于,所述根据所述目标标注框宽高比对所述参考标注框进行第二矫正,得到所述目标人脸的最终标注框,包括:

5.如权利要求所述4所述的人脸数据标注方法,其特征在于,所述基于所述目标标注框宽高比以及所述人脸姿态角度对所述参考标注框进行第二矫正,得到所述目标人脸的最终标注框,包括:

6.一种人脸检测模型的训练方法,其特征在于,所述脸检测模型的训练方法包括以下步骤:

7.一种人脸数据标注装置,其特征在于,所述人脸数据标注装置包括:

8.一种人脸检测模型的训练装置,其特征在于,所述人脸检测模型的训练装置包括:

9.一种电子设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的人脸数据标注方法中的步骤,或者如权利要求6所述的人脸检测模型的训练方法中的步骤。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的人脸数据标注方法中的步骤,或者所述计算机程序被处理器执行时实现如权利要求6所述的人脸检测模型的训练方法中的步骤。


技术总结
本发明提供一种人脸数据标注方法,包括:在初始标注图像中确定出目标人脸的第一人脸图像,在初始标注图像中确定出目标人脸的人脸姿态信息;通过训练好的空间变换网络对第一人脸图像进行第一矫正,得到第二人脸图像,并基于第二人脸图像在初始标注图像中确定出目标对象的参考标注框;根据人脸姿态信息确定对应的目标标注框宽高比,并根据目标标注框宽高比对参考标注框进行第二矫正,得到目标人脸的最终标注框;将最终标注框替换初始标注图像中初始人脸标注框,得到目标人脸的最终标注图像。通过对初始标注图像中的初始人脸标注框进行空间变换矫正和人脸姿态的宽高比矫正,可以提高人脸图像的标注一致性,进而提高人脸检测模型的人脸检测结果精度。

技术研发人员:刘文龙,冯展鹏,魏新明,肖嵘
受保护的技术使用者:深圳云天励飞技术股份有限公司
技术研发日:
技术公布日:2024/5/29
转载请注明原文地址:https://win.8miu.com/read-1166619.html

最新回复(0)