本公开属于深度学习,更具体地说,是涉及一种大语言模型自我提升方法及装置。
背景技术:
1、微调大语言模型通常伴随着显著的计算资源需求,这不仅涉及训练期间的计算成本,还包括存储、维护和更新模型所需的资源。此外,随着外部环境的变化,大语言模型可能需要进行持续的更新,进一步增加了对计算资源的依赖。现有的检索增强大语言模型方法的输出质量比较低,因此,如何提高大语言模型方法的输出质量格外重要。
技术实现思路
1、本公开的目的在于提供一种大语言模型自我提升方法及装置,以增强模型迭代提升输出响应的能力和输出质量。
2、本公开实施例的第一方面,提供了一种大语言模型自我提升方法,包括:
3、在第一知识库中检索与第一输入信息对应的反思样本,得到反思样本信息;
4、所述第一知识库为大语言模型生成输出信息时检索所采用的数据库,所述第一输入信息包括第一问题和第一回复,所述第一回复为大语言模型根据第一问题输出的回复信息;
5、将所述反思样本信息和所述第一输入信息输入至大语言模型中,得到对应于第一输入信息的目标反思信息;基于所述第一输入信息和所述目标反思信息对所述第一知识库进行更新;
6、在第二知识库中检索与第二输入信息对应的改进样本,得到改进样本信息;
7、所述第二知识库为所述大语言模型对生成的输出信息进行自我改进时检索所采用的数据库;所述第二输入信息包括所述第一输入信息和目标反思信息;
8、将所述第二输入信息和所述改进样本信息输入至所述大语言模型中,得到对应于第二输入信息的目标改进信息;基于所述第二输入信息和所述目标改进信息对所述第二知识库进行更新。
9、本公开实施例的第二方面,提供了一种大语言模型自我提升装置,包括:
10、反思信息获取模块,用于在第一知识库中检索与第一输入信息对应的反思样本,得到反思样本信息;将所述反思样本信息和所述第一输入信息输入至大语言模型中,得到对应于第一输入信息的目标反思信息;基于所述第一输入信息和所述目标反思信息对所述第一知识库进行更新;
11、改进信息获取模块,用于在第二知识库中检索与第二输入信息对应的改进样本,得到改进样本信息;将所述第二输入信息和所述改进样本信息输入至所述大语言模型中,得到对应于第二输入信息的目标改进信息;基于所述第二输入信息和所述目标改进信息对所述第二知识库进行更新。
12、本公开实施例的第三方面,提供了一种电子设备,包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述的大语言模型自我提升方法的步骤。
13、本公开实施例的第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述的大语言模型自我提升方法的步骤。
14、本公开实施例提供的大语言模型自我提升方法及装置的有益效果在于:
15、首先,本公开中知识库包括第一知识库和第二知识库,第一知识库包括预先确定的多个问答对和每个问答对对应的反思信息,第二知识库包括预先确定的多个问答对和每个问答对对应的改进信息。第一输入信息包括第一问题和第一回复。在第一知识库中检索与第一输入信息对应的反思样本,得到反思样本信息,将反思样本信息和第一输入信息输入至大语言模型中得到目标反思信息。第二输入信息包括第一输入信息和目标反思信息。在第二知识库中检索与第二输入信息对应的改进样本,得到改进样本信息,将改进样本信息和第二输入信息输入至大语言模型中得到目标改进信息。通过两步检索并进行判断,提高了大语言模型的输出质量。
16、其次,本公开会将第一输入信息和第一输入信息对应的目标反思信息更新至第一知识库,将第二输入信息和第二输入信息对应的目标改进信息更新至第二知识库,丰富了第一知识库和第二知识库的内容,提高了大语言模型的输出质量。
1.一种大语言模型自我提升方法,其特征在于,包括:
2.如权利要求1所述的大语言模型自我提升方法,其特征在于,所述在第一知识库中检索与第一输入信息对应的反思样本,得到反思样本信息,包括:
3.如权利要求1所述的大语言模型自我提升方法,其特征在于,所述基于所述第一输入信息和所述目标反思信息对所述第一知识库进行更新,包括:
4.如权利要求1所述的大语言模型自我提升方法,其特征在于,所述在第二知识库中检索与第二输入信息对应的改进样本,得到改进样本信息,包括:
5.如权利要求1所述的大语言模型自我提升方法,其特征在于,所述基于所述第二输入信息和所述目标改进信息对所述第二知识库进行更新,包括:
6.如权利要求1至5任一项所述的大语言模型自我提升方法,其特征在于,还包括:
7.如权利要求1所述的大语言模型自我提升方法,其特征在于,所述大语言模型还包括与第一问题相关的第三知识库。
8.一种大语言模型自我提升装置,其特征在于,包括:
9.一种电子设备,包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。