本技术涉及大模型技术、图像处理领域,具体而言,涉及一种自回归生成模型的训练方法、图像处理方法以及电子设备。
背景技术:
1、自回归生成模型依赖分词器对输入数据进行预处理,一个良好的分词器能够帮助模型快速收敛和提升泛化能力,因此,分词器对自回归生成模型有着至关重要的作用。
2、但是,在实际应用场景中常用的分词器不能处理图像生成任务,而且与大模型的自回归训练方式不统一,限制了自回归生成模型的性能。
3、针对上述的问题,目前尚未提出有效的解决方案。
技术实现思路
1、本技术实施例提供了一种自回归生成模型的训练方法、图像处理方法以及电子设备,以至少解决采用常用的分词器对自回归生成模型的输入数据进行处理,导致自回归生成模型的性能较低的技术问题。
2、根据本技术实施例的一个方面,提供了一种自回归生成模型的训练方法,包括:获取第一图像;利用判别式图像分词器对第一图像进行特征提取,得到第一图像的图像特征,其中,图像特征用于表征第一图像的语义信息;将第一图像的图像特征与多个离散向量的向量特征进行比较,确定第一图像的离散特征,其中,不同离散向量对应不同的离散特征;利用第一图像的离散特征对自回归生成模型进行训练。
3、根据本技术实施例的另一方面,还提供了一种图像处理方法,包括:获取待处理图像;利用判别式图像分词器对待处理图像进行特征提取,得到待处理图像的图像特征,其中,图像特征用于表征待处理图像的语义信息;将待处理图像的图像特征与多个离散向量的向量特征进行比较,确定待处理图像的离散特征,其中,不同离散向量对应不同的离散特征;利用训练好的自回归生成模型对待处理图像的离散特征进行处理,得到待处理图像的处理结果,其中,训练好的自回归生成模型是采用上述方法训练得到的模型。
4、根据本技术实施例的另一方面,还提供了一种图像处理方法,包括:在接收到图像生成指令的情况下,基于图像生成指令,构建预设指示符;将预设指示符输入至训练好的自回归生成模型,并获取训练好的自回归生成模型输出的生成图像,其中,训练好的自回归生成模型是采用上述方法训练得到的模型。
5、根据本技术实施例的另一方面,还提供了一种自回归生成模型的训练方法,包括:响应作用于操作界面上的输入指令,在操作界面上显示第一图像;响应作用于操作界面上的训练指令,在操作界面上显示自回归生成模型的训练结果,其中,训练结果是利用第一图像的离散特征对自回归生成模型进行训练得到的结果,第一图像的离散特征是将第一图像的图像特征与多个离散向量的向量特征进行比较得到的特征,不同离散向量对应不同的离散特征,第一图像的图像特征是利用判别式图像分词器对第一图像进行特征提取得到的特征。
6、根据本技术实施例的另一方面,还提供了一种自回归生成模型的训练方法,包括:通过调用第一接口获取第一图像,其中,第一接口包括第一参数,第一参数的参数值包括第一图像;利用判别式图像分词器对第一图像进行特征提取,得到第一图像的图像特征,其中,图像特征用于表征第一图像的语义信息;将第一图像的图像特征与多个离散向量的向量特征进行比较,确定第一图像的离散特征,其中,不同离散向量对应不同的离散特征;利用第一图像的离散特征对自回归生成模型进行训练,得到自回归生成模型的训练结果;通过调用第二接口输出自回归生成模型的训练结果,其中,第二接口包括第二参数,第二参数的参数值包括自回归生成模型的训练结果。
7、根据本技术实施例的另一方面,还提供了一种自回归生成模型的训练装置,包括:获取模块,用于获取第一图像;提取模块,用于利用判别式图像分词器对第一图像进行特征提取,得到第一图像的图像特征,其中,图像特征用于表征第一图像的语义信息;确定模块,用于将第一图像的图像特征与多个离散向量的向量特征进行比较,确定第一图像的离散特征,其中,不同离散向量对应不同的离散特征;训练模块,用于利用第一图像的离散特征对自回归生成模型进行训练。
8、根据本技术实施例的另一方面,还提供了一种图像处理装置,包括:获取模块,用于获取待处理图像;提取模块,用于利用判别式图像分词器对待处理图像进行特征提取,得到待处理图像的图像特征,其中,图像特征用于表征待处理图像的语义信息;确定模块,用于将待处理图像的图像特征与多个离散向量的向量特征进行比较,确定待处理图像的离散特征,其中,不同离散向量对应不同的离散特征;处理模块,用于利用训练好的自回归生成模型对待处理图像的离散特征进行处理,得到待处理图像的处理结果,其中,训练好的自回归生成模型是采用上述的方法训练得到的模型。
9、根据本技术实施例的另一方面,还提供了一种图像处理装置,包括:构建模块,用于在接收到图像生成指令的情况下,基于图像生成指令,构建预设指示符;生成模块,用于将预设指示符输入至训练好的自回归生成模型,并获取训练好的自回归生成模型输出的生成图像,其中,训练好的自回归生成模型是采用上述方法训练得到的模型。
10、根据本技术实施例的另一方面,还提供了一种自回归生成模型的训练装置,包括:第一显示模块,用于响应作用于操作界面上的输入指令,在操作界面上显示第一图像;第二显示模块,用于响应作用于操作界面上的处理指令,在操作界面上显示自回归生成模型的训练结果,其中,训练结果是利用第一图像的离散特征对自回归生成模型进行训练得到的结果,第一图像的离散特征是将第一图像的图像特征与多个离散向量的向量特征进行比较得到的特征,不同离散向量对应不同的离散特征,第一图像的图像特征是利用判别式图像分词器对第一图像进行特征提取得到的特征。
11、根据本技术实施例的另一方面,还提供了一种自回归生成模型的训练装置,包括:第一调用模块,用于通过调用第一接口获取第一图像,其中,第一接口包括第一参数,第一参数的参数值包括第一图像;提取模块,用于利用判别式图像分词器对第一图像进行特征提取,得到第一图像的图像特征,其中,图像特征用于表征第一图像的语义信息;确定模块,用于将第一图像的图像特征与多个离散向量的向量特征进行比较,确定第一图像的离散特征,其中,不同离散向量对应不同的离散特征;训练模块,用于利用第一图像的离散特征对自回归生成模型进行训练,得到自回归生成模型的训练结果;第二调用模块,用于通过调用第二接口输出自回归生成模型的训练结果,其中,第二接口包括第二参数,第二参数的参数值包括自回归生成模型的训练结果。
12、根据本技术实施例的另一方面,还提供了一种电子设备,包括:存储器,存储有可执行程序;处理器,用于运行程序,其中,程序运行时执行本技术各个实施例中的方法。
13、根据本技术实施例的另一方面,还提供了一种计算机可读存储介质,计算机可读存储介质包括存储的可执行程序,其中,在可执行程序运行时控制计算机可读存储介质所在设备执行本技术各个实施例中的方法。
14、根据本技术实施例的另一方面,还提供了一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现本技术各个实施例中的方法。
15、根据本技术实施例的另一方面,还提供了一种计算机程序产品,包括非易失性计算机可读存储介质,非易失性计算机可读存储介质存储计算机程序,计算机程序被处理器执行时实现本技术各个实施例中的方法。
16、根据本技术实施例的另一方面,还提供了一种计算机程序,计算机程序被处理器执行时实现本技术各个实施例中的方法。
17、在本技术实施例中,采用获取第一图像,利用判别式图像分词器对第一图像进行特征提取,得到第一图像的图像特征,将第一图像的图像特征与多个离散向量的向量特征进行比较,确定第一图像的离散特征,并利用第一图像的离散特征对自回归生成模型进行训练的方式,实现训练自回归生成模型的目的。容易注意到的是,可以利用判别式图像分词器提取出第一图像的图像特征,并将该图像特征转换为离散特征来降低需要处理的数据维度,由于该离散特征过滤掉了第一图像的视觉底层冗余信息只保留语义信息,进而在利用第一图像的离散特征对自回归生成模型进行训练时,自回归生成模型可以专注于建模图像的语义信息,而不需要考虑比较底层的视觉纹理特征,使得自回归生成模型可以更高效的生成和理解图像所要表达的内容,实现了提高自回归生成模型的性能的技术效果,进而解决了采用常用的分词器对自回归生成模型的输入数据进行处理,导致自回归生成模型的性能较低的技术问题。
18、容易注意到的是,上面的通用描述和后面的详细描述仅仅是为了对本技术进行举例和解释,并不构成对本技术的限定。
1.一种自回归生成模型的训练方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述利用判别式图像分词器对所述第一图像进行特征提取,得到所述第一图像的图像特征,包括:
3.根据权利要求2所述的方法,其特征在于,所述利用所述判别式图像分词器对所述多个图像块进行特征提取,得到所述多个图像块的图像块特征,包括:
4.根据权利要求1所述的方法,其特征在于,所述将所述第一图像的图像特征与多个离散向量的向量特征进行比较,确定所述第一图像的离散特征,包括:
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述方法还包括:
6.根据权利要求5所述的方法,其特征在于,所述对预设数据集中的预设图像进行抽取,生成多个第二图像,包括:
7.根据权利要求5所述的方法,其特征在于,所述对所述多个第二图像的图像特征进行聚类操作,得到多个聚类中心,包括:
8.根据权利要求1所述的方法,其特征在于,所述第一图像的离散特征为所述第一图像中的多个图像块的离散特征构成的序列;所述利用所述第一图像的离散特征对自回归生成模型进行训练,包括:
9.一种图像处理方法,其特征在于,包括:
10.一种图像处理方法,其特征在于,包括:
11.一种自回归生成模型的训练方法,其特征在于,包括:
12.一种自回归生成模型的训练方法,其特征在于,包括:
13.一种电子设备,其特征在于,包括:
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的可执行程序,其中,在所述可执行程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至12中任意一项所述的方法。
15.一种计算机程序产品,其特征在于,包括计算机程序,所述计算机程序在被处理器执行时实现权利要求1至12中任意一项所述的方法。
