本技术属于自然语言处理,尤其涉及一种文本处理方法、装置、电子设备及计算机可读存储介质。
背景技术:
1、随着人工智能技术的快速发展,其在各个领域中的应用越来越广泛,其中,最为常见的就是通过人工智能技术实现人机交互,在人机交互过程中,大语言模型(或称为大模型)发挥了至关重要的作用。
2、大语言模型是指使用大量文本数据训练的深度学习模型,可以生成自然语言文本或理解语言文本的含义。大语言模型可以处理多种自然语言任务,如问答、对话、文本分类等。
3、然而,大语言模型本身存在很多不可控的因素,如在回答用户的提问时出现答非所问的现象。对此,相关技术中,将大语言模型与知识图谱进行结合,使得大语言模型结合相关知识回答用户的提问,能够有效改善大语言模型在交互过程中的回答准确性。但是,对于用户的提问不明确的情况,由于大语言模型对知识图谱依赖性较高,知识图谱会对大语言模型的处理过程造成干扰,导致大语言模型在交互过程中的回答准确性降低,影响用户的交互体验。
技术实现思路
1、本技术实施例提供了一种文本处理方法、装置、电子设备及计算机可读存储介质,能够避免知识图谱会对大语言模型的处理过程造成干扰,提高大语言模型在交互过程中的回答准确性。
2、第一方面,本技术实施例提供了一种文本处理方法,该方法包括:获取待处理文本;确定待处理文本与多个候选文本中各候选文本之间的第一语义相似度;在不存在满足第一预设条件的第一语义相似度的情况下,确定待处理文本与多个参考文本中各参考文本之间的第二语义相似度;在多个参考文本中存在至少一个第一参考文本的情况下,基于语义惩罚参数,对各第一参考文本与待处理文本之间的第二语义相似度进行调整,得到至少一个调整后的第二语义相似度,其中,第一参考文本为第二语义相似度满足第二预设条件的参考文本;在至少一个调整后的第二语义相似度中存在第三语义相似度的情况下,根据第三语义相似度对应的第二参考文本和语言交互模型,对待处理文本进行处理,输出待处理文本对应的目标回复文本,其中,第三语义相似度为至少一个调整后的第二语义相似度中满足第二预设条件的调整后的第二语义相似度。
3、在一种可能的实现方式中,上述基于语义惩罚参数,对各第一参考文本与待处理文本之间的第二语义相似度进行调整,得到至少一个调整后的第二语义相似度之前,上述文本处理方法还包括:根据待处理文本的文本长度和各第一参考文本与待处理文本之间的第二语义相似度,确定各第一参考文本对应的语义惩罚参数;上述基于语义惩罚参数,对各第一参考文本与待处理文本之间的第二语义相似度进行调整,得到至少一个调整后的第二语义相似度,包括:基于各第一参考文本对应的语义惩罚参数,对各第一参考文本与待处理文本之间的第二语义相似度进行调整,得到至少一个调整后的第二语义相似度。
4、在一种可能的实现方式中,上述第一参考文本对应的语义惩罚参数通过如下公式获得:
5、
6、其中,loss为第一参考文本对应的语义惩罚参数,l为待处理文本的文本长度,s为待处理文本与第一参考文本之间的第二语义相似度,c1为第一参数,c2为第二参数,δ为第三参数,n为预设阈值。
7、在一种可能的实现方式中,上述基于语义惩罚参数,对各第一参考文本与待处理文本之间的第二语义相似度进行调整,得到至少一个调整后的第二语义相似度之后,上述文本处理方法还包括:在至少一个调整后的第二语义相似度中不存在第三语义相似度的情况下,根据语言交互模型,对待处理文本进行处理,输出待处理文本对应的目标回复文本。
8、在一种可能的实现方式中,上述确定待处理文本与多个参考文本中各参考文本之间的第二语义相似度之后,上述文本处理方法还包括:在多个参考文本中不存在第一参考文本的情况下,根据语言交互模型,对待处理文本进行处理,输出待处理文本对应的目标回复文本。
9、在一种可能的实现方式中,上述确定待处理文本与多个候选文本中各候选文本之间的第一语义相似度之后,上述文本处理方法还包括:在存在满足第一预设条件的第一语义相似度的情况下,获取多个候选文本中目标候选文本对应的第一回复文本,其中,目标候选文本为第一语义相似度满足第一预设条件的候选文本;将目标候选文本对应的第一回复文本,确定为待处理文本对应的目标回复文本。
10、在一种可能的实现方式中,上述第一语义相似度为待处理文本与候选文本之间的欧氏距离,上述第一预设条件为第一语义相似度小于或等于第一预设阈值;上述第二语义相似度为待处理文本与参考文本之间的欧氏距离,上述第二预设条件为第二语义相似度小于或等于第二预设阈值。
11、第二方面,本技术实施例提供了一种文本处理装置,包括:
12、获取模块,用于获取待处理文本;
13、第一确定模块,用于确定待处理文本与多个候选文本中各候选文本之间的第一语义相似度;
14、第二确定模块,用于在不存在满足第一预设条件的第一语义相似度的情况下,确定待处理文本与多个参考文本中各参考文本之间的第二语义相似度;
15、调整模块,用于在多个参考文本中存在至少一个第一参考文本的情况下,基于语义惩罚参数,对各第一参考文本与待处理文本之间的第二语义相似度进行调整,得到至少一个调整后的第二语义相似度,其中,第一参考文本为第二语义相似度满足第二预设条件的参考文本;
16、处理模块,用于在至少一个调整后的第二语义相似度中存在第三语义相似度的情况下,根据第三语义相似度对应的第二参考文本和语言交互模型,对待处理文本进行处理,输出待处理文本对应的目标回复文本,其中,第三语义相似度为至少一个调整后的第二语义相似度中满足第二预设条件的调整后的第二语义相似度。
17、第三方面,本技术实施例提供了一种电子设备,包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面中任一项所述的文本处理方法的步骤。
18、第四方面,本技术实施例提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现如上述第一方面中任一项所述的文本处理方法的步骤。
19、第五方面,本技术实施例提供了一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行上述第一方面中任一项所述的文本处理方法。
20、可以理解的是,上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
21、本技术实施例提供的文本处理方法,在获取待处理文本后,确定待处理文本与各候选文本之间的第一语义相似度,在不存在满足第一预设条件的第一语义相似度的情况下,可以采用语言交互模型对待处理文本进行语义理解。在采用语言交互模型对待处理文本进行处理的过程中,确定待处理文本与各参考文本之间的第二语义相似度,根据待处理文本与各参考文本之间的第二语义相似度,可以判断多个参考文本中是否存在可用作语言交互模型的背景知识的第一参考文本,并且,在筛选出至少一个第一参考文本之后,基于语义惩罚参数,对各第一参考文本与待处理文本的第二语义相似度进行调整,并根据调整后的第二语义相似度,确定从至少一个第一参考文本中筛选出第二参考文本,以将第二参考文本作为语言交互模型的背景知识,使得语言交互模型结合第二参考文本,对待处理文本进行理解,以输出待处理文本对应的目标回复文本。这样一来,在选取与待处理文本相关的参考文本时,通过语义惩罚参数,对待处理文本与参考文本之间的第二语义相似度进行合理地语义惩罚,进而能够过滤掉至少一个第一参考文本中不满足第二预设条件的参考文本,更准确地筛选出符合用户的提问意图的第二参考文,降低参考文本对语言交互模型的干扰,提高交互过程中的回答准确性。
22、再者,本技术实施例提供了多种文本处理路径,可以从多个候选文本确定出待处理文本对应的目标回复文本,也可以利用语言交互模块和参考文本,生成待处理文本对应的目标回复文本,还可以直接利用语言交互模块,生成待处理文本对应的目标回复文本,这样一来,对于不同的使用场景,可以自动切换不同的文本处理路径,能够提高回复速度,以及能够更准确地输出回答内容,用户体验更好。
1.一种文本处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述基于语义惩罚参数,对各所述第一参考文本与所述待处理文本之间的第二语义相似度进行调整,得到至少一个调整后的第二语义相似度之前,所述方法还包括:
3.根据权利要求2所述的方法,其特征在于,所述第一参考文本对应的语义惩罚参数通过如下公式获得:
4.根据权利要求1所述的方法,其特征在于,所述基于语义惩罚参数,对各所述第一参考文本与所述待处理文本之间的第二语义相似度进行调整,得到至少一个调整后的第二语义相似度之后,所述方法还包括:
5.根据权利要求1所述的方法,其特征在于,所述确定所述待处理文本与多个参考文本中各所述参考文本之间的第二语义相似度之后,所述方法还包括:
6.根据权利要求1所述的方法,其特征在于,所述确定所述待处理文本与多个候选文本中各所述候选文本之间的第一语义相似度之后,所述方法还包括:
7.根据权利要求1-6中任一项所述的方法,其特征在于,所述第一语义相似度为所述待处理文本与所述候选文本之间的欧氏距离,所述第一预设条件为所述第一语义相似度小于或等于第一预设阈值;
8.一种文本处理装置,其特征在于,所述装置包括:
9.一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的文本处理方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的文本处理方法的步骤。