本发明涉及图像处理,尤其涉及一种人像抠图智能背景替换方法、装置以及nas设备。
背景技术:
1、随着科技的快速发展,越来越多的电子设备集成了相机功能,使得人们能够快速且便捷的进行拍照来记录生活,且随着技术的进步,人们还能够对拍摄的照片进行修改(例如背景替换)以使照片达到更好的效果。
2、目前,对图像进行人像抠图以实现背景替换主要基于像素模型实现,在抠图的过程中存在抠图效率较低,抠图后效果较差的问题,用户体验不佳。因此,提出一种能够提高对图像进行人像抠图的抠图效率和抠图效果的技术方案显得尤为重要。
技术实现思路
1、本发明提供了一种人像抠图智能背景替换方法、装置以及nas设备,能够有利于提高对图像进行人像抠图的抠图效率和抠图效果。
2、为了解决上述技术问题,本发明第一方面公开了一种人像抠图智能背景替换方法,所述方法包括:
3、获取待处理图像,所述待处理图像包括人像区域和背景区域;
4、将所述待处理图像输入至预先训练好的人像处理模型中,通过所述人像处理模型对所述待处理图像进行特征通道处理,得到特征通道集合,所述特征通道集合包括所述待处理图像对应的至少一个特征通道以及每个所述特征通道对应的特征图;
5、基于所述特征通道集合,对所述特征通道集合中的每个所述特征图进行特征处理操作,得到所述待处理图像对应的图像处理结果,所述图像处理结果包括所述待处理图像对应的二分类信息;
6、根据所述二分类信息确定所述待处理图像对应的目标图像,并对所述目标图像进行背景替换,所述目标图像包括所述待处理图像对应的人像图像和背景图像。
7、作为一种可选的实施方式,在本发明第一方面中,所述将所述待处理图像输入至预先训练好的人像处理模型中,通过所述人像处理模型对所述待处理图像进行特征通道处理,得到特征通道集合,包括:
8、将所述待处理图像输入至预先训练好的人像处理模型中,对所述待处理图像进行下采样,得到所述待处理图像的初始图像特征;
9、对所述待处理图像的初始图像特征进行分组卷积操作,得到所述待处理图像对应的初始特征通道集合;
10、按照预设的洗牌规则对所述待处理图像对应的初始特征通道集合进行通道洗牌,得到特征通道集合。
11、作为一种可选的实施方式,在本发明第一方面中,所述基于所述特征通道集合,对所述特征通道集合中的每个所述特征图进行特征处理操作,得到所述待处理图像对应的图像处理结果,包括:
12、基于所述特征通道集合,对所述特征通道集合中的每个所述特征图进行深度卷积操作,得到所述特征通道集合中的每个所述特征图的目标特征;
13、对每个所述特征图的目标特征进行特征融合,得到所述待处理图像对应的融合特征图;
14、对所述融合特征图进行二分类处理,得到所述待处理图像对应的二分类信息,并根据所述二分类信息确定所述待处理图像对应的图像处理结果。
15、作为一种可选的实施方式,在本发明第一方面中,所述基于所述特征通道集合,对所述特征通道集合中的每个所述特征图进行深度卷积操作,得到所述特征通道集合中的每个所述特征图的目标特征,包括:
16、通过所述人像处理模型中的跳跃连接层获取所述待处理图像的初始图像特征,并基于所述初始图像特征和预设的上采样方式对所述特征通道集合中的每个所述特征图进行上采样,得到所述待处理图像的上采样特征通道集合,所述上采样方式包括双三次插值上采样;
17、基于所述上采样特征通道集合,对所述特征通道集合中的每个所述特征图进行深度卷积操作,得到所述特征通道集合中的每个所述特征图的目标特征。
18、作为一种可选的实施方式,在本发明第一方面中,所述方法还包括:
19、确定人像处理模型对应的模型应用信息,并基于所述模型应用信息和预设的卷积神经网络构建初始人像处理模型,所述初始人像处理模型包括特征处理层、通道洗牌层、卷积层和二分类输出层;
20、将预设的测试数据输入到所述初始人像处理模型中进行分析,得到所述测试数据对应的测试输出,所述测试数据包括预先标注好的标签数据;
21、根据所述测试输出和所述标签数据计算所述初始人像处理模型对应的模型损失,并判断所述模型损失是否大于预设的损失阈值;
22、当所述模型损失大于预设的损失阈值时,根据所述模型损失对所述初始人像处理模型进行模型优化训练,当所述模型损失小于或等于预设的损失阈值时,确定所述初始人像处理模型作为所述人像处理模型。
23、作为一种可选的实施方式,在本发明第一方面中,所述根据所述测试输出和所述标签数据计算所述初始人像处理模型对应的模型损失,包括:
24、根据所述测试输出和所述标签数据计算所述初始人像处理模型对应的损失信息;
25、根据所述损失信息计算所述初始人像处理模型对应的模型损失;
26、其中,所述损失信息包括所述初始人像处理模型的目标损失以及所述目标损失对应的超参,所述目标损失包括交叉熵损失和标签分布感知边距损失,所述超参包括第一超参和第二超参。
27、作为一种可选的实施方式,在本发明第一方面中,所述模型损失的计算公式为:
28、u_loss=α*ce_loss+β*ldam_loss
29、其中,u_loss表示所述模型损失,ce_loss表示所述交叉熵损失,ldam_loss表示所述标签分布感知边距损失,α表示所述第一超参,β表示所述第二超参。
30、本发明第二方面公开了一种人像抠图智能背景替换装置,所述装置包括:
31、获取模块,用于获取待处理图像,所述待处理图像包括人像区域和背景区域;
32、处理模块,用于将所述待处理图像输入至预先训练好的人像处理模型中,通过所述人像处理模型对所述待处理图像进行特征通道处理,得到特征通道集合,所述特征通道集合包括所述待处理图像对应的至少一个特征通道以及每个所述特征通道对应的特征图;
33、所述处理模块,还用于基于所述特征通道集合,对所述特征通道集合中的每个所述特征图进行特征处理操作,得到所述待处理图像对应的图像处理结果,所述图像处理结果包括所述待处理图像对应的二分类信息;
34、第一确定模块,用于根据所述二分类信息确定所述待处理图像对应的目标图像,并对所述目标图像进行背景替换,所述目标图像包括所述待处理图像对应的人像图像和背景图像。
35、作为一种可选的实施方式,在本发明第二方面中,所述处理模块将所述待处理图像输入至预先训练好的人像处理模型中,通过所述人像处理模型对所述待处理图像进行特征通道处理,得到特征通道集合的方式具体包括:
36、将所述待处理图像输入至预先训练好的人像处理模型中,对所述待处理图像进行下采样,得到所述待处理图像的初始图像特征;
37、对所述待处理图像的初始图像特征进行分组卷积操作,得到所述待处理图像对应的初始特征通道集合;
38、按照预设的洗牌规则对所述待处理图像对应的初始特征通道集合进行通道洗牌,得到特征通道集合。
39、作为一种可选的实施方式,在本发明第二方面中,所述处理模块基于所述特征通道集合,对所述特征通道集合中的每个所述特征图进行特征处理操作,得到所述待处理图像对应的图像处理结果的方式具体包括:
40、基于所述特征通道集合,对所述特征通道集合中的每个所述特征图进行深度卷积操作,得到所述特征通道集合中的每个所述特征图的目标特征;
41、对每个所述特征图的目标特征进行特征融合,得到所述待处理图像对应的融合特征图;
42、对所述融合特征图进行二分类处理,得到所述待处理图像对应的二分类信息,并根据所述二分类信息确定所述待处理图像对应的图像处理结果。
43、作为一种可选的实施方式,在本发明第二方面中,所述处理模块基于所述特征通道集合,对所述特征通道集合中的每个所述特征图进行深度卷积操作,得到所述特征通道集合中的每个所述特征图的目标特征的方式具体包括:
44、通过所述人像处理模型中的跳跃连接层获取所述待处理图像的初始图像特征,并基于所述初始图像特征和预设的上采样方式对所述特征通道集合中的每个所述特征图进行上采样,得到所述待处理图像的上采样特征通道集合,所述上采样方式包括双三次插值上采样;
45、基于所述上采样特征通道集合,对所述特征通道集合中的每个所述特征图进行深度卷积操作,得到所述特征通道集合中的每个所述特征图的目标特征。
46、作为一种可选的实施方式,在本发明第二方面中,其特征在于,所述装置还包括:
47、第二确定模块,用于确定人像处理模型对应的模型应用信息,并基于所述模型应用信息和预设的卷积神经网络构建初始人像处理模型,所述初始人像处理模型包括特征处理层、通道洗牌层、卷积层和二分类输出层;
48、分析模块,用于将预设的测试数据输入到所述初始人像处理模型中进行分析,得到所述测试数据对应的测试输出,所述测试数据包括预先标注好的标签数据;
49、计算模块,用于根据所述测试输出和所述标签数据计算所述初始人像处理模型对应的模型损失,并判断所述模型损失是否大于预设的损失阈值,当所述模型损失大于预设的损失阈值时,根据所述模型损失对所述初始人像处理模型进行模型优化训练,当所述模型损失小于或等于预设的损失阈值时,确定所述初始人像处理模型作为所述人像处理模型。
50、作为一种可选的实施方式,在本发明第二方面中,所述计算模块根据所述测试输出和所述标签数据计算所述初始人像处理模型对应的模型损失的方式具体包括:
51、根据所述测试输出和所述标签数据计算所述初始人像处理模型对应的损失信息;
52、根据所述损失信息计算所述初始人像处理模型对应的模型损失;
53、其中,所述损失信息包括所述初始人像处理模型的目标损失以及所述目标损失对应的超参,所述目标损失包括交叉熵损失和标签分布感知边距损失,所述超参包括第一超参和第二超参。
54、作为一种可选的实施方式,在本发明第二方面中,所述模型损失的计算公式为:
55、u_loss=α*ce_loss+β*ldam_loss
56、其中,u_loss表示所述模型损失,ce_loss表示所述交叉熵损失,ldam_loss表示所述标签分布感知边距损失,α表示所述第一超参,β表示所述第二超参。
57、本发明第三方面公开了一种电子设备,所述设备包括:
58、存储有可执行程序代码的存储器;
59、与所述存储器耦合的处理器;
60、所述处理器调用所述存储器中存储的所述可执行程序代码,执行本发明第一方面公开的人像抠图智能背景替换方法。
61、本发明第四方面公开了一种nas设备,所述nas设备至少配置有显示屏,且所述nas设备包括存储有可执行程序代码的存储器;
62、与所述存储器耦合的处理器;
63、所述处理器调用所述存储器中存储的所述可执行程序代码,执行本发明第一方面公开的人像抠图智能背景替换方法。
64、本发明第五方面公开了一种计算机存储介质,所述计算机存储介质存储有计算机指令,所述计算机指令被调用时,用于执行本发明第一方面公开的人像抠图智能背景替换方法。
65、本发明第六方面公开了一种人像抠图智能背景替换的系统,所述系统至少包括一电子设备以及如本发明第四方面公开的nas设备,且所述电子设备与所述nas设备通信连接;
66、所述电子设备被配置有可访问所述nas设备的应用程序,并通过所述应用程序读取所述nas设备基于如本发明第一方面公开的人像抠图智能背景替换方法处理后的图片。
67、与现有技术相比,本发明实施例具有以下有益效果:
68、本发明实施例中,能够将待处理图像输入至预先训练好的人像处理模型中,通过人像处理模型对待处理图像进行特征通道处理,能够实现图像的各通道间的特征融合,提高整体信息交流,进而提高处理后图像的精准性,基于特征通道集合,对特征通道集合中的每个特征图进行特征处理操作,得到待处理图像对应的图像处理结果,提高对图像进行人像抠图的处理效率和准确性,提高背景替换后图像的整体效果和精准性,提升用户体验。
1.一种人像抠图智能背景替换方法,其特征在于,所述方法包括:
2.根据权利要求1所述的人像抠图智能背景替换方法,其特征在于,所述将所述待处理图像输入至预先训练好的人像处理模型中,通过所述人像处理模型对所述待处理图像进行特征通道处理,得到特征通道集合,包括:
3.根据权利要求2所述的人像抠图智能背景替换方法,其特征在于,所述基于所述特征通道集合,对所述特征通道集合中的每个所述特征图进行特征处理操作,得到所述待处理图像对应的图像处理结果,包括:
4.根据权利要求3所述的人像抠图智能背景替换方法,其特征在于,所述基于所述特征通道集合,对所述特征通道集合中的每个所述特征图进行深度卷积操作,得到所述特征通道集合中的每个所述特征图的目标特征,包括:
5.根据权利要求1-4任一项所述的人像抠图智能背景替换方法,其特征在于,所述方法还包括:
6.根据权利要求5所述的人像抠图智能背景替换方法,其特征在于,所述根据所述测试输出和所述标签数据计算所述初始人像处理模型对应的模型损失,包括:
7.根据权利要求6所述的人像抠图智能背景替换方法,其特征在于,所述模型损失的计算公式为:
8.一种人像抠图智能背景替换装置,其特征在于,所述装置包括:
9.一种电子设备,其特征在于,所述设备包括:
10.一种nas设备,其特征在于,所述nas设备至少配置有显示屏,且所述nas设备包括存储有可执行程序代码的存储器;
11.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机指令,所述计算机指令被调用时,用于执行如权利要求1-7任一项所述的人像抠图智能背景替换方法。
12.一种人像抠图智能背景替换的系统,其特征在于,所述系统至少包括一电子设备以及如权利要求10所述的nas设备,且所述电子设备与所述nas设备通信连接;