视频处理方法、装置、设备及存储介质与流程

专利检索2025-12-30  4


本发明实施例涉及计算机视觉,尤其涉及一种视频处理方法、装置、设备及存储介质。


背景技术:

1、视频处理技术,也被称为人脸合成或人脸交换,是一种通过计算机算法将一个人的脸部特征合成到另一个人的脸部的技术。虽然视频处理技术可能引起一些争议和担忧,但它也有一些正面意义和应用:可以用于娱乐和创意目的,例如制作有趣的视频;或用于电影和电视剧中的特效。视频处理为角色设计提供了更多的可能性,同时减少了对化妆和面具等传统特效的需求。

2、当前的视频处理方法,存在替换后的视觉效果差,即替换后的人脸不够逼真,替换痕迹明显等问题。


技术实现思路

1、本发明提供了一种视频处理方法、装置、设备及存储介质,以解决当前的视频处理方法,存在替换后的视觉效果差,即替换后的人脸不够逼真,替换痕迹明显等问题。

2、根据本发明的一方面,提供了一种视频处理方法,其特征在于,包括:

3、对待处理视频中的视频帧进行分割,得到初始视频帧、第一人脸图和所述第一人脸图的关键点信息;其中,所述初始视频帧为去除所述第一人脸图后的视频帧;

4、通过所述第一人脸图的关键点信息和预设关键点信息确定变换矩阵和逆变换矩阵;其中,所述预设关键点信息为所述第一人脸图的正面脸型对应的关键点信息;

5、利用所述变换矩阵将所述第一人脸图调整为第二人脸图,并基于所述第二人脸图和预设角色列表,利用预设人脸替换模型,确定替换人脸图;

6、基于所述替换人脸图确定目标增强人脸图,利用所述逆变换矩阵将目标增强人脸图调整为目标人脸图,并基于所述目标人脸图和所述初始视频帧,确定目标视频帧。

7、根据本发明的另一方面,提供了一种视频处理装置,其特征在于,包括:

8、数据确定模块,用于对待处理视频中的视频帧进行分割,得到初始视频帧、第一人脸图和所述第一人脸图的关键点信息;其中,所述初始视频帧为去除所述第一人脸图后的视频帧;

9、矩阵确定模块,用于通过所述第一人脸图的关键点信息和预设关键点信息确定变换矩阵和逆变换矩阵;其中,所述预设关键点信息为所述第一人脸图的正面脸型对应的关键点信息;

10、图像确定模块,用于利用所述变换矩阵将所述第一人脸图调整为第二人脸图,并基于所述第二人脸图和预设角色列表,利用预设人脸替换模型,确定替换人脸图;

11、视频帧确定模块,用于基于所述替换人脸图确定目标增强人脸图,利用所述逆变换矩阵将目标增强人脸图调整为目标人脸图,并基于所述目标人脸图和所述初始视频帧,确定目标视频帧。

12、根据本发明的另一方面,提供了一种视频处理设备,所述视频处理设备包括:

13、至少一个处理器;以及

14、与所述至少一个处理器通信连接的存储器;其中,

15、所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明任一实施例所述的视频处理方法。

16、根据本发明的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本发明任一实施例所述的视频处理方法。

17、本发明实施例提供的技术方案,对待处理视频中的视频帧进行分割,得到初始视频帧、第一人脸图和所述第一人脸图的关键点信息;其中,所述初始视频帧为去除所述第一人脸图后的视频帧;通过所述第一人脸图的关键点信息和预设关键点信息确定变换矩阵和逆变换矩阵;其中,所述预设关键点信息为所述第一人脸图的正面脸型对应的关键点信息;利用所述变换矩阵将所述第一人脸图调整为第二人脸图,并基于所述第二人脸图和预设角色列表,利用预设人脸替换模型,确定替换人脸图;基于所述替换人脸图确定目标增强人脸图,利用所述逆变换矩阵将目标增强人脸图调整为目标人脸图,并基于所述目标人脸图和所述初始视频帧,确定目标视频帧。考虑到在进行人脸替换时,第一人脸图中的脸型有可能并非标准的正面脸型,如果直接进行替换,则可能会导致替换的精确度降低,导致视觉效果变差,因此通过上述技术方案,利用变换矩阵对第一人脸图进行调整,可以得到第一人脸图对应的正面脸型的第二人脸图,进而基于第二人脸图进行人脸替换得到替换人脸图,再对替换人脸图进行增强,得到目标增强人脸图,进而利用逆变换矩阵将目标增强人脸图调整为脸型与第一人脸图相同的目标人脸图,有效的提高了替换后的视觉效果,使替换后的人脸效果更加逼真,替换痕迹得到有效改善。

18、应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。



技术特征:

1.一种视频处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述替换人脸图确定目标增强人脸图,包括:

3.根据权利要求2所述的方法,其特征在于,基于所述目标人脸图和所述初始视频帧,确定目标视频帧,包括:

4.根据权利要求1所述的方法,其特征在于,所述基于所述替换人脸图确定目标增强人脸图,包括:

5.根据权利要求1所述的方法,其特征在于,所述基于所述替换人脸图确定目标增强人脸图,包括:

6.根据权利要求1-5中任一项所述的方法,其特征在于,所述预设角色列表包括角色人脸图、角色人脸图对应的特征向量、生成人脸图、生成人脸图对应的特征向量以及所述角色人脸图和所述生成人脸图之间的预设对应关系;其中,所述角色人脸图对应的特征向量和所述生成人脸图对应的特征向量通过人脸识别模型确定。

7.根据权利要求6所述的方法,其特征在于,在所述基于所述第二人脸图和预设角色列表,利用预设人脸替换模型,确定替换人脸图之前,包括:

8.一种视频处理装置,其特征在于,包括:

9.一种视频处理设备,其特征在于,所述视频处理设备包括:

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的视频处理方法。


技术总结
本发明公开一种视频处理方法、装置、设备及存储介质。对待处理视频中的视频帧进行分割,得到初始视频帧、第一人脸图和第一人脸图的关键点信息,初始视频帧为去除第一人脸图后的视频帧;通过第一人脸图的关键点信息和预设关键点信息确定变换矩阵和逆变换矩阵,预设关键点信息为第一人脸图的正面脸型对应的关键点信息;利用变换矩阵将第一人脸图调整为第二人脸图,并基于第二人脸图和预设角色列表,利用预设人脸替换模型,确定替换人脸图;基于替换人脸图确定目标增强人脸图,利用逆变换矩阵将目标增强人脸图调整为目标人脸图,并基于目标人脸图和初始视频帧确定目标视频帧。有效提高了替换后的视觉效果,使替换效果更加逼真,替换痕迹有效改善。

技术研发人员:秦林,王锋,王俊杰,翁成航,武文
受保护的技术使用者:南京炫佳网络科技有限公司
技术研发日:
技术公布日:2024/5/29
转载请注明原文地址:https://win.8miu.com/read-1159786.html

最新回复(0)