本说明书实施例涉及深度学习,特别涉及一种任务处理方法、商品分类方法及电商直播的商品分类方法。
背景技术:
1、随着深度学习技术的发展,通过对深度学习模型的预训练,得到用于处理不同任务的任务处理模型,来完成任务处理,提升了任务处理的效率和准确度。
2、目前,对于输入的视频数据,利用自动语音识别技术(automatic speechrecognition,简称asr),对视频数据中的语音内容进行文本转换,再采用任务处理模型这一深度学习模型来对识别得到的语音文本执行目标任务,得到对应的任务处理结果。然而,由于忽略了视频数据中的视觉信息在视频内容分析中的重要性,使得任务处理结果的准确度不足。因此,亟需一种高准确度的任务处理方法。
技术实现思路
1、有鉴于此,本说明书实施例提供了一种任务处理方法。本说明书一个或者多个实施例同时涉及一种商品分类方法,一种直播电商的商品分类方法,一种任务处理模型的训练方法,一种任务处理装置,一种商品分类装置,一种直播电商的商品分类装置,一种任务处理模型的训练装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序,以解决现有技术中存在的技术缺陷。
2、本说明书一个实施例中,提供了一种任务处理方法,包括:
3、从输入的视频数据中,提取关键视频帧和语音内容;
4、对语音内容进行文本识别,获得目标对象关联的描述文本;
5、基于描述文本和预设指示文本,构建任务提示模板,其中,预设指示文本用于指示基于描述文本对关键视频帧中的目标对象执行目标任务;
6、将关键视频帧和任务提示模板输入任务处理模型,获得对关键视频帧中目标对象执行目标任务的任务处理结果。
7、本说明书一个实施例中,从输入的视频数据中,提取得到关键视频帧这一视觉信息和语音内容这一音频信息,再通过对语音内容进行文本识别,获得目标对象关联的描述文本这一文本信息,基于描述文本和预设指示文本,构建任务提示模板,并输入任务处理模型,将文本信息和视觉信息紧密结合,使得任务处理模型更为准确地理解目标任务,结合了更多样性的信息,对目标对象执行目标任务,提升了任务处理的准确度。
1.一种任务处理方法,包括:
2.根据权利要求1所述的方法,在所述基于所述描述文本和预设指示文本,构建任务提示模板之前,还包括:
3.根据权利要求1所述的方法,在所述将所述关键视频帧和所述任务提示模板输入任务处理模型,获得对所述关键视频帧中所述目标对象执行所述目标任务的任务处理结果之前,还包括:
4.根据权利要求3所述的方法,所述任务处理模型包括任务处理层和任务适配层;
5.根据权利要求3所述的方法,所述基于所述损失值,对所述任务处理模型进行训练,包括:
6.根据权利要求3所述的方法,在所述获取样本集之后,还包括:
7.根据权利要求1所述的方法,所述视频数据包括多个视频帧;
8.根据权利要求1所述的方法,所述目标任务为对象分类任务,所述任务处理模型包括多个任务处理子模型;
9.一种商品分类方法,应用于云侧设备,包括:
10.根据权利要求9所述的方法,在所述将所述目标商品类别反馈至前端之后,还包括:
11.一种电商直播的商品分类方法,应用于电商平台,包括:
12.一种任务处理模型的训练方法,应用于云侧设备,包括:
13.一种计算设备,包括:
14.一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至12任意一项所述方法的步骤。
15.一种计算机程序,其中,当所述计算机程序在计算机中执行时,令所述计算机执行权利要求1至12任意一项所述方法的步骤。
