本发明涉及自然语言处理，特别是涉及一种细分领域增强的隐式篇章关系识别方法。
背景技术：
1、随着互联网的普及和信息技术的飞速发展，网络上富含各种信息的媒介主要以文本为主，因此，在人工智能领域中自然语言处理（natural language processing, nlp）逐渐占据了重要的地位。篇章关系识别是nlp中一项重要且基础的任务，旨在解读文本中论元（句子或子句）之间的逻辑关系，并判断它们之间的语义联系（例如，因果和转折）。篇章关系识别性能的提高对智能问答、机器翻译和文本摘要等高级自然语言处理应用是至关重要的。根据是否存在显性连接词，可以把篇章关系识别分为显式篇章关系识别（explicitdiscourse relation recognition, edrr）和隐式篇章关系识别（implicit discourserelation recognition, idrr）。显性连接词能够较为明确地表达句子或子句之间的语义关系（例如，“但是”表示“转折”关系），目前的研究表明显式篇章关系识别能够取得超过95%的准确率，已经达到了实用水平。然而，隐式篇章关系识别则需通过句子或子句的语义进行推断，其准确率比显式篇章关系识别低得多，离实用尚有较大的差距。因此，如何提升隐式篇章关系识别的性能成为了一项紧迫的任务。
2、基于深度学习的隐式篇章关系识别方法是目前主流的方法，性能全面超过了早期基于人工特征的方法。循环神经网络、卷积神经网络和注意力机制等在现有方法中被广泛使用。例如，首次将卷积神经网络成功应用于idrr任务的方法利用平均、最大值和最小值卷积操作学习两个论元的语义表示，拼接后用于分类。随后，为了充分利用单词的局部上下文信息，研究人员采用长短期记忆网络（lstm）和门控循环网络（gru）等循环神经网络。更进一步，为了使得模型能够关注论元中的关键词，研究人员将注意力机制与常用的神经网络模型进行结合，显著增强了传统神经网络模型的识别性能。最近，在nlp领域使用较为广泛的提示学习和知识蒸馏等方法，应用到idrr任务中取得了更好的识别效果。
3、现有基于深度学习的隐式篇章关系识别方法虽然取得了较好的效果，但所用的神经网络变得越来越复杂、所含参数量越来越多。这些方法在训练时通常会出现数据稀疏问题，导致模型的泛化性能较差。显式篇章关系实例中的连接词具有较强的语义关系指示作用，可看作是连接词自然标注的数据。因此，研究人员通过多任务学习和预训练等方法利用显式篇章关系数据，有效地缓解了隐式篇章关系识别模型训练中的数据稀疏问题。例如，预训练的方法常基于大量显式篇章关系数据进一步微调bert等语言模型，然后用于隐式篇章关系识别。
4、然而，现有利用显式篇章关系数据的方式存在以下两个方面的问题：1）把自动标注的显式篇章关系数据和人工标注的隐式篇章关系数据中蕴含的知识先后注入同一个模型中，容易造成知识遗忘问题。2）现有方法忽略了一种常见的应用场景，即人工标注的隐式篇章关系数据通常来自一个综合领域，训练的模型也将应用于该综合领域，然而一个综合领域通常由多个细分领域组成，现有方法不能充分利用各细分领域的知识，不利于识别性能的进一步提升。
技术实现思路
1、为此，本发明的实施例提出一种细分领域增强的隐式篇章关系识别方法，以提升识别的性能，且避免集成到同一模块中可能造成的知识遗忘问题。
2、根据本发明一实施例的细分领域增强的隐式篇章关系识别方法，应用于隐式篇章关系识别模型，所述隐式篇章关系识别模型包括基础编码模块、多个细分领域编码模块、综合领域编码及分类模块、细分领域训练模块和综合领域训练模块；
3、所述方法包括：
4、基础编码模块通过预训练语言模型学习输入实例的多层语义表示，然后提取预训练语言模型中预设层数的transformer层的输出作为输入实例的多层语义表示；
5、各个细分领域编码模块以输入实例的多层语义表示为输入，计算得到各个细分领域的多层语义表示，其中，每个细分领域编码模块包括多个适配层，且适配层的数量与输入实例多层语义表示的层数一致，每个适配层以对应的输入实例的语义表示以及上一个适配层的输出为输入，计算得到对应的适配层输出；
6、综合领域编码及分类模块在各个细分领域的多层语义表示的基础上，学习输入实例在综合领域的多层语义表示，然后基于分类层进行隐式篇章关系识别；
7、细分领域训练模块基于多个细分领域的显式篇章关系数据，分别对相应细分领域编码模块进行训练，综合领域训练模块基于人工标注隐式篇章关系数据，对综合领域编码及分类模块进行训练，直至模型收敛。
8、根据本发明实施例的细分领域增强的隐式篇章关系识别方法，对于来自不同细分领域的实例，模型能够基于多级增强层自动选择相应细分领域的知识，有利于提升识别的性能；本发明使用多个细分领域编码模块可以更好地保存各细分领域的知识，以避免集成到同一模块中可能造成的知识遗忘问题，各细分领域编码模块可以单独训练，在所含细分领域发生变化时，重新训练模型的代价较小。本发明利用可插拔式的适配网络将各细分领域的知识分别注入预训练好的语言模型中，实质性地提高了隐式篇章关系识别的性能。
1.一种细分领域增强的隐式篇章关系识别方法，其特征在于，应用于隐式篇章关系识别模型，所述隐式篇章关系识别模型包括基础编码模块、多个细分领域编码模块、综合领域编码及分类模块、细分领域训练模块和综合领域训练模块；
2.根据权利要求1所述的细分领域增强的隐式篇章关系识别方法，其特征在于，基础编码模块满足以下条件式：
3.根据权利要求2所述的细分领域增强的隐式篇章关系识别方法，其特征在于，细分领域编码模块的数量为k个，每个细分领域编码模块包括n个适配层，将输入实例的第层语义表示作为第个适配层的输入之一，每个适配层由依次堆叠的第一前向计算层、transformer层和第二前向计算层组成，第个细分领域编码模块的第个适配层的输出的计算过程如下：
4.根据权利要求3所述的细分领域增强的隐式篇章关系识别方法，其特征在于，综合领域编码及分类模块包括多个交替堆叠的适配层和增强层，最后叠加一个分类层；
5.根据权利要求4所述的细分领域增强的隐式篇章关系识别方法，其特征在于，在细分领域训练模块中，在第个细分领域编码器的最上层叠加两个用于相应细分领域的分类层，一个分类层用于计算数据集中实例的连接词预测结果，为实例中的两个论元，为自然标注的连接词，为自动标注的篇章关系类别，为篇章关系类别的可信度，另一个分类层用于计算隐式篇章关系预测结果；
6.根据权利要求5所述的细分领域增强的隐式篇章关系识别方法，其特征在于，综合领域训练模块满足以下表达式：
