本发明涉及人智交互,尤其涉及一种检索增强的大语言模型生成优化方法。
背景技术:
1、由于rag(检索增强生成)具有从大量文档信息中提取关键信息并生成准确答案的特点,现如今被广泛应用于信息检索领域。现有的rag结合了检索技术以及大语言模型,其工作原理为:将文本信息切割成文本块,对文本块进行向量化、嵌入以及存储,随后基于用户的提问找到相关性较高的文本块作为大语言模型的上下文信息,最后生成答案。
2、然而,由于大语言模型中用于接收rag输出的上下文信息的上下文窗口具有长度限制,现有的rag无法自行根据大语言模型的上下文窗口的长度限制来调整上下文信息的长度。因此会导致以下现象:
3、一方面,当输入的上下文信息的长度超过上述限制时,会导致大语言模型崩溃。另一方面,即使输入的上下文信息的长度满足上下文窗口的长度限制,由于该上下文信息是被rag随机截断的上下文信息,可能导致大语言模型无法获取相关性较高的上下文信息,从而导致生成的答案质量较低。
技术实现思路
1、本发明的目的在于提供一种检索增强的大语言模型生成优化方法,以解决现有技术中存在的rag所输出的上下文信息长度超过大语言模型的输入信息的限制而导致大语言模型出现误差的技术问题。本发明提供的诸多技术方案中的优选技术方案所能产生的诸多技术效果详见下文阐述。
2、为实现上述目的,本发明提供了以下技术方案:
3、本发明提供的一种检索增强的大语言模型生成优化方法,包括如下步骤:s1、获取用户的检索需求;
4、s2、根据所述检索需求,获取多个检索结果,其中,所述检索结果包括多个文本信息和多个历史对话;
5、s3、根据每个所述检索结果和所述检索需求,得到每个所述检索结果和所述检索需求之间的目标语义距离;
6、s4、对每个所述目标语义距离进行排序,得到所述检索需求的数组,并依次对所述数组中的每个元素进行字节处理,得到大语言模型的上下文信息。
7、优选的,步骤s2包括如下步骤:s21、基于重排序算法对所述文本信息进行处理;
8、s22、对所述文本信息进行倒序处理。
9、优选的,步骤s3包括如下步骤:s31、根据每个所述检索结果和所述检索需求获取初始语义距离;
10、s32、根据初始语义距离和预设权重值,得到所述目标语义距离。
11、优选的,所述初始语义距离为所述历史对话与所述检索需求以及所述文本信息与所述检索需求的余弦距离。
12、优选的,所述依次对所述数组中的每个元素进行字节处理,得到大语言模型的上下文信息包括:构建用于依次记录所述数组的元素的字符串;当所述字符串的长度大于等于预设阈值时,停止对所述字符串的长度计算处理,将所述字符串所携带的信息作为所述上下文信息。
13、优选的,在构建用于依次记录所述数组的元素的字符串之后,还包括:基于所述大语言模型的tokenizer方法实时计算所述字符串的长度。
14、优选的,在构建用于依次记录所述数组的元素的字符串之后,还包括:从所述数组中从目标语义距离最小的元素起依次记录所述数组的元素。
15、根据本发明的另一方面,还提供一种用于检索增强的大语言模型生成优化的装置,包括:
16、获取模块,用于获取用户的检索需求;检索模块,用于根据所述检索需求,获取多个检索结果,其中,所述检索结果包括多个文本信息和多个历史对话;计算模块,根据每个所述检索结果和所述检索需求,得到每个所述检索结果和所述检索需求之间的目标语义距离;生成模块,用于对每个所述目标语义距离进行排序,得到所述检索需求的数组,并依次对所述数组中的每个元素进行字节处理,得到大语言模型的上下文信息。
17、根据本发明的另一方面,还提供一种计算机可读的存储介质,所述存储介质上存储有计算机程序,所述计算机程序被执行时实现如上文所述的检索增强的大语言模型生成优化方法。
18、根据本发明的另一方面,还提供一种用于检索增强的大语言模型生成优化的设备,包括:一个或多个处理器;存储器,用于存储一个或多个计算机程序,一个或多个所述处理器用于执行所述存储器存储的一个或多个计算机程序,以使一个或多个所述处理器执行如上文所述的检索增强的大语言模型生成优化方法。
19、实施本发明上述技术方案中的一个技术方案,具有如下优点或有益效果:本发明首先获取每个检索结果与用户的检索需求之间的目标语义距离,然后对每个目标语义距离进行排序得到数组,最后依次对数组中的各个元素进行字节处理,得到上下文信息。在这种情况下,能够基于目标语义距离提高上下文信息的相关性,同时能够得到符合大语言模型输入要求的上下文信息以使大语言模型减少崩溃,也即能够在长度以及内容维度上得到最符合大语言模型输入的上下文信息,从而能够提高大语言模型回答的准确性。
1.一种检索增强的大语言模型生成优化方法,其特征在于,包括如下步骤:
2.根据权利要求1所述的检索增强的大语言模型生成优化方法,其特征在于,步骤s2包括如下步骤:s21、基于重排序算法对所述文本信息进行处理;s22、对所述文本信息进行倒序处理。
3.根据权利要求1所述的检索增强的大语言模型生成优化方法,其特征在于,步骤s3包括如下步骤:s31、根据每个所述检索结果和所述检索需求获取初始语义距离;s32、根据初始语义距离和预设权重值,得到所述目标语义距离。
4.根据权利要求3所述的检索增强的大语言模型生成优化方法,其特征在于,所述初始语义距离为所述历史对话与所述检索需求以及所述文本信息与所述检索需求的余弦距离。
5.根据权利要求1所述的检索增强的大语言模型生成优化方法,其特征在于,所述依次对所述数组中的每个元素进行字节处理,得到大语言模型的上下文信息包括:构建用于依次记录所述数组的元素的字符串;当所述字符串的长度大于等于预设阈值时,停止对所述字符串的长度计算处理,将所述字符串所携带的信息作为所述上下文信息。
6.根据权利要求5所述的检索增强的大语言模型生成优化方法,其特征在于,在构建用于依次记录所述数组的元素的字符串之后,还包括:基于所述大语言模型的tokenizer方法实时计算所述字符串的长度。
7.根据权利要求5所述的检索增强的大语言模型生成优化方法,其特征在于,在构建用于依次记录所述数组的元素的字符串之后,还包括:从所述数组中从目标语义距离最小的元素起依次记录所述数组的元素。
8.一种用于检索增强的大语言模型生成优化的装置,其特征在于,包括:
9.一种计算机可读的存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被执行时实现权利要求1-7任一项所述的检索增强的大语言模型生成优化方法。
10.一种用于检索增强的大语言模型生成优化的设备,其特征在于,包括: