本技术涉及视频处理,具体而言,涉及一种视频处理方法、装置及计算机可读存储介质。
背景技术:
1、随着短视频的发展,竖屏视频显示模式越来越流行,但并非所有视频从制作之初便是针对竖屏条件下观看而设计拍摄的。在现有技术中,可以保留横屏视频的横向长宽比,将视频在竖屏模式下居中显示,视频本身只占据屏幕中的一小部分区域,为了填充剩余的屏幕空间,可以在视频的上下添加固定的文字模板或者将原视频背景虚化后作为填充背景。在上述横屏显示转竖屏显示的技术中,由于视频(比如,游戏视频)仅占据屏幕中心的一小块区域,相较于全屏展示,其细节难以被观察到,导致游戏内容不够突出,影响观看体验。
技术实现思路
1、为了至少克服现有技术中的上述不足,本技术的目的在于提供一种视频处理方法、装置及计算机可读存储介质。
2、第一方面,本技术实施例提供一种视频处理方法,所述视频处理方法包括:
3、获取第一视频帧图像,其中,所述第一视频帧图像的横向长度大于所述第一视频帧图像的竖向长度;
4、对所述第一视频帧图像进行对象检测,得到图像对象,基于所述图像对象所对应的权重值确定出图像主对象及第二视频帧图像对应显示的目标图像区域,其中,所述第二视频帧图像的横向长度小于所述第二视频帧图像的竖向长度;
5、基于所述图像主对象的位置变化更新所述目标图像区域的图像画面,得到所述第二视频帧图像。
6、在一种可能的实现方式中,所述对所述第一视频帧图像进行对象检测,得到图像对象,基于所述图像对象所对应的权重值确定出图像主对象及第二视频帧图像对应显示的目标图像区域的步骤,包括:
7、采用训练好的图像对象检测模型对所述第一视频帧图像进行对象检测,得到图像对象;
8、获取所述图像对象所对应的权重值,并基于所述图像对象的权重值确定出所述图像主对象及所述第二视频帧图像对应显示的目标图像区域。
9、在一种可能的实现方式中,所述采用训练好的图像对象检测模型对所述第一视频帧图像进行对象检测,得到图像对象的步骤之前,所述方法还包括训练得到图像检测模型的步骤,该步骤包括:
10、获取包括各种图像对象的样本图像,并对所述图像对象进行标注得到验证样本图像,由所述样本图像及所述验证样本图像组成样本图像对;
11、对所述样本图像及所述验证样本图像进行预处理,并将预处理后的样本图像输入图像训练模型中进行训练,得到图像对象提取结果;
12、基于所述图像对象提取结果及对应所述验证样本图像中的标注信息计算所述图像训练模型的损失函数值,将所述损失函数值与预设的损失函数阈值进行比较,在所述损失函数值大于所述预设的损失函数阈值时,将所述图像训练模型中的模型参数进行更新并重复上述步骤,直到所述损失函数值小于所述预设的损失函数阈值或所述模型参数迭代更新的次数达到预设次数,结束对所述图像训练模型的训练,将训练完成时对应的图像训练模型作为所述训练好的图像对象检测模型。
13、在一种可能的实现方式中,所述获取所述图像对象所对应的权重值,并基于所述图像对象的权重值确定出所述图像主对象及所述第二视频帧图像对应显示的目标图像区域的步骤,包括:
14、从预先配置的权重参数表中获取所述图像对象所对应的权重值;
15、获取所述图像对象的像素中心,并将像素中心距离小于预设距离的图像对象进行融合,得到包含至少两个所述图像对象的图像区域,其中,所述图像区域的权重值为所述图像区域中的所有图像对象的权重值之和;
16、基于所述图像对象及所述图像区域的权重值确定出图像主对象,并基于所述图像主对象确定所述第二视频帧图像对应显示的目标图像区域。
17、在一种可能的实现方式中,所述基于所述图像对象及所述图像区域的权重值确定出图像主对象,并基于所述图像主对象确定所述第二视频帧图像对应显示的目标图像区域的步骤,包括:
18、将所述图像对象及所述图像区域按照权重值的大小进行排序,并将最大权重值对应的图像对象作为所述图像主对象;
19、基于所述图像主对象确定出所述第二视频帧图像对应显示的目标图像区域,其中,所述图像主对象的像素中心位于所述图像区域的中心位置。
20、在一种可能的实现方式中,所述基于所述图像主对象的位置变化更新所述目标图像区域的图像画面,得到所述第二视频帧图像的步骤,包括:
21、检测上一时刻的图像主对象与当前时刻的图像主对象是否相同,在上一时刻的图像主对象与当前时刻的图像主对象相同时,所述目标图像区域随着上一时刻的图像主对象的移动而移动;
22、在上一时刻的图像主对象与当前时刻的图像主对象不相同时,所述目标图像区域由上一时刻的图像主对象所在的图像区域移动至当前时刻的图像主对象所在的图像区域。
23、在一种可能的实现方式中,所述在上一时刻的图像主对象与当前时刻的图像主对象不相同时,所述目标图像区域由上一时刻的图像主对象所在的图像区域移动至当前时刻的图像主对象所在的图像区域的步骤,包括:
24、在上一时刻的图像主对象与当前时刻的图像主对象不相同时,获取上一时刻的图像主对象与当前时刻的图像主对象在所述第一视频帧图像中的位置坐标;
25、基于所述上一时刻的图像主对象与当前时刻的图像主对象在所述第一视频帧图像中的位置坐标确定所述目标图像区域的移动方向;
26、基于所述第一视频帧图像的帧率及预先配置的运镜速度计算所述目标图像区域在每一帧中的移动距离,将所述目标图像区域由上一时刻的图像主对象所在的图像区域移动至当前时刻的图像主对象所在的图像区域。
27、在一种可能的实现方式中,所述基于所述上一时刻的图像主对象与当前时刻的图像主对象在所述第一视频帧图像中的位置坐标确定所述目标图像区域的移动方向的步骤,包括:
28、获取所述上一时刻的图像主对象及所述当前时刻的图像主对象在所述第一视频帧图像中的位置坐标,所述上一时刻的图像主对象的位置坐标包括第一横坐标及第一纵坐标,所述当前时刻的图像主对象的位置坐标包括第二横坐标及第二纵坐标;
29、基于所述第一横坐标及所述第二横坐标的大小关系确定所述目标图像区域在横坐标轴上的第一移动方向;
30、基于所述第一纵坐标及所述第二纵坐标的大小关系确定所述目标图像区域在纵坐标轴上的第二移动方向;
31、基于所述第一移动方向及所述第二移动方向确定所述目标图像区域的移动方向。
32、第二方面,本技术实施例还提供一种视频处理装置,所述装置包括:
33、获取模块,用于获取第一视频帧图像,其中,所述第一视频帧图像的横向长度大于所述第一视频帧图像的竖向长度;
34、检测模块,用于对所述第一视频帧图像进行对象检测,得到图像对象,基于所述图像对象所对应的权重值确定出图像主对象及第二视频帧图像对应显示的目标图像区域,其中,所述第二视频帧图像的横向长度小于所述第二视频帧图像的竖向长度;
35、更新模块,用于基于所述图像主对象更新的位置变化所述目标图像区域的图像画面,得到所述第二视频帧图像。
36、第三方面,本技术实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如第一方面中任意一种所述的方法。
37、基于上述任意一个方面,本技术实施例提供的视频处理方法、装置及计算机可读存储介质,通过图像对象的权重值确定图像主对象及对应显示的目标图像区域,可以确保将第一视频帧图像(横屏视频帧图像)转换成第二视频帧图像(竖屏视频帧图像)后仍保留关键的影像信息,并可使得竖屏的视频帧图像与显示设备适配,有效提升视频从横屏显示转换为竖屏显示的视频质量,提高观众的观影体验。
1.一种视频处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的视频处理方法,其特征在于,所述对所述第一视频帧图像进行对象检测,得到图像对象,基于所述图像对象所对应的权重值确定出图像主对象及第二视频帧图像对应显示的目标图像区域的步骤,包括:
3.根据权利要求2所述的视频处理方法,其特征在于,所述采用训练好的图像对象检测模型对所述第一视频帧图像进行对象检测,得到图像对象的步骤之前,所述方法还包括训练得到图像检测模型的步骤,该步骤包括:
4.根据权利要求2所述的视频处理方法,其特征在于,所述获取所述图像对象所对应的权重值,并基于所述图像对象的权重值确定出所述图像主对象及所述第二视频帧图像对应显示的目标图像区域的步骤,包括:
5.根据权利要求4所述的视频处理方法,其特征在于,所述基于所述图像对象及所述图像区域的权重值确定出图像主对象,并基于所述图像主对象确定所述第二视频帧图像对应显示的目标图像区域的步骤,包括:
6.根据权利要求2所述的视频处理方法,其特征在于,所述基于所述图像主对象的位置变化更新所述目标图像区域的图像画面,得到所述第二视频帧图像的步骤,包括:
7.根据权利要求6所述的视频处理方法,其特征在于,所述在上一时刻的图像主对象与当前时刻的图像主对象不相同时,所述目标图像区域由上一时刻的图像主对象所在的图像区域移动至当前时刻的图像主对象所在的图像区域的步骤,包括:
8.根据权利要求7所述的视频处理方法,其特征在于,所述基于所述上一时刻的图像主对象与当前时刻的图像主对象在所述第一视频帧图像中的位置坐标确定所述目标图像区域的移动方向的步骤,包括:
9.一种视频处理装置,其特征在于,所述装置包括:
10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,该计算机程序被处理器执行时实现如权利要求1-8中任意一项所述的方法。
