本发明涉及人工智能及知识问答,尤其涉及一种基于关联建模的知识检索问答方法。
背景技术:
1、知识以多种形态存在于多种载体中,其中很重要的一种知识是以专利的形式存在,专利中的知识一般是以专利文档形式呈现,专利文档包括专利摘要、摘要附图,说明书、说明书附图和权利要求书。其中,专利的权利要求书是最重要的文本之一,是专利保护范围的最重要依据。
2、专利的知识检索问答是指根据输入的自然语言问句,输出一篇或多篇专利作为答案。专利检索问答可以用于检测重复专利、发现技术领域的新发展趋势、评估专利的价值和竞争优势等。应用前景包括但不限于专利检索、知识产权管理、技术竞争情报分析、专利侵权检测和技术创新导向等领域。
3、目前,专利检索问答主要有两种实现方式。第一种是通过人工配合查重系统进行匹配。这种方法的优点人工参与带来的高准确性和可靠性,特别是对于复杂的专利文本。然而,其缺点是依赖于人工参与,成本较高且速度相对较慢。另一种实现方式是使用通用的文本匹配算法对查询和专利全文进行匹配。这种方法的优点是能够全面考虑专利文本的各个方面,提供更全面的相似度评估。然而,缺点是没有考虑到专利是一种有着特殊格式的文本,其权利要求之间天然存在引用关系,从各个权利要求之间的引用关系而言,它是一种非常明显的树形结构,如何利用这种引用的树形结构,用于提升检索查询及问答的精准度性能,也是我们需要解决的技术问题之一。
技术实现思路
1、本发明旨在至少解决现有技术中存在的技术问题之一。为此,本发明公开了一种基于关联建模的知识检索问答方法。所述方法通过显式建模专利的权利要求之间的关联关系,实现对专利进行高效的特征表示,通过对自然语言查询特征和专利特征的匹配,实现专利的检索问答,本方法综合考虑了专利的权利要求天然存在的依赖关联关系这一数据特点,设计了层级特征提取的算法,并用其实现了高效的专利检索问答。
2、本发明的目的是通过如下技术方案实现的,一种基于关联建模的知识检索问答方法,所述方法包括:
3、步骤1,构建专利特征提取模型,包括节点单一特征提取模块,节点层级特征提取模块;
4、步骤2,根据文本模式匹配获得每个权利要求的父节点集合;
5、步骤3,把专利的权利要求书分点输入节点单一特征提取模块,对每个权利要求提取出节点单一特征,并计算节点关系损失函数;
6、步骤4,把各个权利要求的单一节点特征和父节点集合输入节点层级特征提取模块,提取出所有权利要求的节点层级特征序列;
7、步骤5,把专利的各个权利要求拼接上父节点权利要求后输入大语言模型,得到对应的查询,并把查询输入查询特征提取模型,得到所有权利要求的查询特征序列;
8、步骤6,对所有权利要求的节点层级特征序列和查询特征序列计算查询损失函数;
9、步骤7,根据节点关系损失函数和查询损失函数计算联合损失函数,利用联合损失函数训练专利特征提取模型和查询特征提取模型;
10、步骤8,利用训练好的专利特征提取模型和查询特征提取模型进行专利检索问答。
11、所述的根据文本模式匹配获得每个权利要求的父节点集合,包含以下步骤:
12、根据文本模式匹配获得每个权利要求的父节点集合,表达式为:
13、。
14、其中,表示第个权利要求的父节点集合。
15、所述的把专利的权利要求书分点输入节点单一特征提取模块,对每个权利要求提取出节点单一特征,并计算节点关系损失函数,包含以下步骤:
16、步骤301,把专利的权利要求书分点输入bert-base-chinese语言模型,获得各个权利要求的文本特征序列,表达式为:
17、。
18、其中,是bert-base-chinese语言模型,是专利的第个的权利要求的文本,是第个的权利要求的文本特征序列,是第个的权利要求的分词数,是文本特征维度;
19、步骤302,把各个权利要求的文本特征序列进行平均聚合,得到各个权利要求的节点单一特征,表达式为:
20、。
21、其中,表示第个权利要求的节点单一特征,是文本特征维度,是第个权利要求的分词数,表示中的第个元素;
22、全部权利要求的节点单一特征的表达式为:
23、。
24、其中,表示全部权利要求的节点单一特征,是文本特征维度,是权利要求的数量,表示第个权利要求的节点单一特征;
25、步骤303,计算父节点矩阵,表达式为:
26、。
27、其中,表示父节点矩阵,表示全部权利要求的节点单一特征,是可学习参数,是权利要求的数量,表示激活函数;
28、步骤304,计算节点关系损失函数,表达式为:
29、。
30、其中,表示节点关系损失函数,是权利要求的数量,是节点关系标注,表示父节点矩阵,表示父节点矩阵的第行第列元素,表示第个权利要求的父节点集合。
31、所述的把各个权利要求的单一节点特征和父节点集合输入节点层级特征提取模块,提取出所有权利要求的节点层级特征序列,包含以下步骤:
32、步骤401,聚合父节点特征,包括以下步骤:
33、若第个权利要求的父节点集合是空集,使用一个随机初始化的可学习向量作为第个权利要求的父节点特征;
34、否则,第个权利要求的父节点集合不是空集,对第个权利要求的父节点集合的节点单一特征进行聚合,作为第个权利要求的父节点特征,表达式为:
35、。
36、其中,表示第个权利要求的父节点特征,表示第个权利要求的父节点集合,表示中元素的个数,表示第个权利要求的节点单一特征;
37、步骤402,融合节点单一特征和父节点特征得到节点层级特征,表达式为:
38、。
39、其中,表示第个权利要求的节点层级特征,表示第个权利要求的父节点特征,表示第个权利要求的节点单一特征,、和是可学习参数,
40、所有权利要求的节点层级特征表示为:
41、。
42、其中,表示所有权利要求的节点层级特征序列,表示第个权利要求的节点层级特征,是权利要求的数量。
43、所述的把专利的各个权利要求拼接上父节点权利要求后输入大语言模型,得到对应的查询,并把查询输入查询特征提取模型,得到所有权利要求的查询特征序列,包含以下步骤:
44、步骤501,把专利的各个权利要求拼接上父节点权利要求,表达式为:
45、。
46、其中,表示专利的第个权利要求拼接上父节点权利要求后的文本,是专利的第个权利要求的文本,表示第个权利要求的父节点集合;
47、步骤502,把专利的各个权利要求拼接上父节点权利要求后的文本输入大语言模型,通过提示工程得到专利的各个权利要求对应的查询,表达式为:
48、。
49、其中,表示专利的第个权利要求拼接上父节点权利要求后的文本,表示大语言模型,表示专利的第个权利要求对应的查询;
50、步骤503,把专利的各个权利要求对应的查询输入查询特征提取模型,得到专利的各个权利要求对应的查询特征,表达式为:
51、。
52、其中,表示专利的第个权利要求对应的查询特征,是文本特征维度,表示平均池化层,是bert-base-chinese语言模型,和所述的专利特征提取模型的节点单一特征提取模块的bert-base-chinese语言模型共享参数,是随机初始化的自注意力层,输出维度为;
53、把专利的各个权利要求对应的查询特征拼接在一起,得到专利的所有权利要求的查询特征序列,表达式为:
54、。
55、其中,表示所有权利要求的查询特征序列,表示专利的第个权利要求对应的查询特征,是权利要求的数量。
56、所述的对所有权利要求的节点层级特征序列和查询特征序列计算查询损失函数,包含以下步骤:
57、步骤601,计算相似度矩阵,表达式为:
58、。
59、其中,表示相似度矩阵,表示所有权利要求的节点层级特征序列,表示所有权利要求的查询特征序列,是权利要求的数量;
60、步骤602,计算查询损失函数,表达式为:
61、。
62、其中,是所述的查询损失函数,表示相似度矩阵第行第列的元素,是权利要求的数量。
63、所述的根据节点关系损失函数和查询损失函数计算联合损失函数,包含以下步骤:
64、计算联合损失函数的表达式为:
65、。
66、其中,是联合损失函数,表示节点关系损失函数,表示查询损失函数,和是预设的超参数,用于平衡两个损失函数对梯度计算的贡献。
67、所述的大语言模型包括gpt、lamda、llama、chatglm中的一种或多种。
68、与现有方法相比,本发明方法的优点在于:本技术提供了一种基于关联建模的知识检索问答方法,本方法通过显式建模专利的权利要求之间的关联关系,实现对专利进行高效的特征表示,通过对自然语言查询特征和专利特征的匹配,实现专利的检索问答。相比现有方法,本方法综合考虑了专利的权利要求天然存在的依赖关联关系这一数据特点,设计了层级特征提取的算法,并用其实现了高效的专利检索问答。
1.一种基于关联建模的知识检索问答方法,其特征在于,所述方法包括:
2.根据权利要求1所述的一种基于关联建模的知识检索问答方法,其特征在于,所述的根据文本模式匹配获得每个权利要求的父节点集合,包含以下步骤:
3.根据权利要求2所述的一种基于关联建模的知识检索问答方法,其特征在于,所述的把专利的权利要求书分点输入节点单一特征提取模块,对每个权利要求提取出节点单一特征,并计算节点关系损失函数,包含以下步骤:
4.根据权利要求3所述的一种基于关联建模的知识检索问答方法,其特征在于,所述的把各个权利要求的单一节点特征和父节点集合输入节点层级特征提取模块,提取出所有权利要求的节点层级特征序列,包含以下步骤:
5.根据权利要求1所述的一种基于关联建模的知识检索问答方法,其特征在于,所述的把专利的各个权利要求拼接上父节点权利要求后输入大语言模型,得到对应的查询,并把查询输入查询特征提取模型,得到所有权利要求的查询特征序列,包含以下步骤:
6.根据权利要求4或5任一项所述的一种基于关联建模的知识检索问答方法,其特征在于,所述的对所有权利要求的节点层级特征序列和查询特征序列计算查询损失函数,包含以下步骤:
7.根据权利要求6所述的一种基于关联建模的知识检索问答方法,其特征在于,所述的根据节点关系损失函数和查询损失函数计算联合损失函数,包含以下步骤:
8.根据权利要求1所述的一种基于关联建模的知识检索问答方法,其特征在于,所述的大语言模型包括gpt、lamda、llama、chatglm中的一种或多种。