基于模型不确定性约束的半监督汉缅神经机器翻译方法及装置

1.本发明涉及基于模型不确定性约束的半监督汉缅神经机器翻译方法及装置，属于自然语言处理技术领域。


背景技术：

2.由于缅甸语属于低资源语言，汉语-缅甸语双语数据较难获得，但是互联网中存在大量缅甸语和汉语单语数据，基于回译的半监督神经机器翻译方法在低资源神经机器翻译取得了明显的效果，因此，如何利用大量缅甸语、汉语单语语料提升汉语-缅甸语翻译模型性能成为了关键问题。
3.基于回译的方法在结构差异性较小的低资源语言对，如英法，英德，取得了较为显著的效果。然而，对于汉缅机器翻译，由于语料资源稀缺而且结构差异较大，回译生成的伪语料存在漏译，多译，错译的问题，传统基于transformer编码端的self-attention机制不能有效区别回译中产生的伪平行数据的噪声对句子编码的影响，致使回译方法应用于结构差异较大的低资源的语对上效果欠佳。


技术实现要素：

4.本发明提供了基于模型不确定性约束的半监督汉缅神经机器翻译方法及装置，解决了回译方法应用在汉缅神经机器翻译任务中性能较差的问题，提升了汉语-缅甸语翻译性能。
5.本发明的技术方案是：第一方面，基于模型不确定性约束的半监督汉缅神经机器翻译方法，所述方法的具体步骤如下：
6.step1、对汉语-缅甸语文本数据进行预处理：将汉语-缅甸语文本数据进行数据清洗、编码转换、长度比过滤、分词等处理；
7.step2、模型不确定性注意力机制的获取：句子编码表征捕捉到上下文的模型不确定性值，编码时对模型不确定值较大词给予更多的关注；
8.step3、模型不确定性为约束的汉缅神经机器翻译训练算法：将回译过程的模型不确定性融进transformer编码端每一层表征，提升汉语-缅甸语回译任务翻译性能；
9.step4、通过使用训练好的汉语-缅甸语互译模型，实现汉语到缅甸语的翻译和缅甸语到汉语的翻译。
10.作为本发明的进一步方案，在数据预处理层面，对汉语-缅甸语数据进行数据清洗，长度比过滤，分词等工作，主要是为了提升翻译质量，规范翻译流程，提高模型性能。
11.所述step1的具体步骤为：
12.step1.1、汉语-缅甸语文本数据清洗：去除汉语、缅甸语文本中的乱码字符，规范标点符号表示方法；
13.step1.2、缅甸语编码转换：缅甸语存在zawgyione字体、myanmar3字体统一编码转
换，变成unicode字体；
14.step1.3、长度比过滤：保留汉语比缅甸语句子长度比在1～1.5的句子，移除少于5个词，大于30个词的语句，用于提升模型训练效率；
15.step1.4、分词：汉语-缅甸语双语平行句对用分词粒度为16k的bpe分词进行处理，所得汉语词典大小为10k，缅甸语词典大小为5k。
16.作为本发明的进一步方案，所述step2的具体步骤为：
17.step2.1、在回译过程中，给定一个真实的目标语言句子y，y∈{dm}，通过标准的transformer模型解码预测其对应的为了量化模型在预测时的模型不确定性，首先将词级别的翻译概率视作随机变量，通过随机停用nmt模型的部分神经元(dropout)并重新计算翻译概率(同时保持y和固定)来进行翻译概率的采样，最终获得回译过程中的模型不确定性；
18.step2.2、将文本句子向量表征与模型不确定性特征通过crossattention机制建模，计算得出结合句子文本向量表征和模型不确定性表征的隐藏层向量，能区分伪语料中噪声。
19.作为本发明的进一步方案，所述step2.2的具体步骤为：
20.step2.2.1、transformer的核心是运用多头的self-attention自注意力机制，每一个注意力机制头都是对n个元素的输入序列x＝(x1,...,xn)，其中接着计算得出同样长度的序列c＝(c1,...,cn)，其中在此发明中，我们用标记文本句子向量特征，用标记与文本句子词对齐的model-uncertainty。如图3所示，uncertainty enc-attention可表示为：
[0021][0022]
其中是softmax函数计算的权重系数：
[0023][0024]
step2.2.2、uncertainty enc-attention最后计算得出结合句子文本向量表征和model-uncertainty表征的隐藏层向量c，其中在transformer编码端最后一层，c被送入解码端去产生目标语言序列，能区分伪语料中噪声的句子编码向量是用文本句子向量与该句子词对齐的模型不确定性值向量作注意力机制得到，这样句子编码表征能捕捉到上下文的模型不确定性值，在编码时能对模型不确定性值较大的词给予更多的关注，用于实现模型在编码过程中能更好的区分来自伪语料中的噪声数据，即漏译，错译，多译的词。
[0025]
作为本发明的进一步方案，所述step3的具体步骤为：
[0026]
step3.1、为使编码端既能学习回译质量较高的词的编码表征，又能有效降低质量较低的词(漏译，错译，多译的词)对句子有效向量表征的影响，提出，汉缅神经机器翻译训练时，编码端编码方式为：
[0027]
其中attns和attn
un
是不同参数的注意力机制模型；
[0028]
step3.2、随后进一步送入非线性变换层ffn(
·
)，在此得到了能够有效处理回译语料中噪声的编码向量：最后编码端会输出最后一层的隐藏层状态解码端是常规的transformer解码端，解码过程持续进行直到遇到结束的特殊字符为止。
[0029]
另一方面，基于模型不确定性约束的半监督汉缅神经机器翻译装置，包括用于执行如第一方面所述方法的模块。
[0030]
本发明的有益效果是：
[0031]
本发明提出以实验为支撑的融合机制策略，实现了将模型不确定性融进transformer编码端每一层表征，解决了回译方法应用在汉缅神经机器翻译任务中性能较差的问题；提出模型不确定性注意力机制，用自注意力机制将模型不确定性与embedding进行深度融合，使编码端能更好的得到伪语料的句子向量表征。汉语-缅甸语神经机器翻译方法具有一定的理论意义和实际应用价值。
附图说明
[0032]
图1为本发明中模型不确定性注意力机制算法原理图；
[0033]
图2为本发明中模型不确定性为约束的汉缅机器翻译算法；
[0034]
图3为本发明中的方法流程框图。
具体实施方式
[0035]
实施例1：如图1-3所示，第一方面，基于模型不确定性约束的半监督汉缅神经机器翻译方法，所述方法的具体步骤如下：
[0036]
step1、对汉语-缅甸语文本数据进行预处理：将汉语-缅甸语文本数据进行数据清洗、编码转换、长度比过滤、分词等处理；
[0037]
step2、模型不确定性注意力机制的获取：句子编码表征捕捉到上下文的模型不确定性值，编码时对模型不确定值较大词给予更多的关注；
[0038]
step3、模型不确定性为约束的汉缅神经机器翻译训练算法：将回译过程的模型不确定性融进transformer编码端每一层表征，提升汉语-缅甸语回译任务翻译性能；
[0039]
step4、通过使用训练好的汉语-缅甸语互译模型，实现汉语到缅甸语的翻译和缅甸语到汉语的翻译。
[0040]
作为本发明的进一步方案，在数据预处理层面，对汉语-缅甸语数据进行数据清洗，长度比过滤，分词等工作，主要是为了提升翻译质量，规范翻译流程，提高模型性能。
[0041]
所述step1的具体步骤为：
[0042]
step1.1、汉语-缅甸语文本数据清洗：去除汉语、缅甸语文本中的乱码字符，规范标点符号表示方法；
[0043]
step1.2、缅甸语编码转换：缅甸语存在zawgyione字体、myanmar3字体统一编码转换，变成unicode字体；
[0044]
step1.3、长度比过滤：保留汉语比缅甸语句子长度比在1～1.5的句子，移除少于5个词，大于30个词的语句，用于提升模型训练效率；
[0045]
step1.4、分词：汉语-缅甸语双语平行句对用分词粒度为16k的bpe分词进行处理，所得汉语词典大小为10k，缅甸语词典大小为5k。
[0046]
作为本发明的进一步方案，所述step2的具体步骤为：
[0047]
step2.1、在回译过程中，给定一个真实的目标语言句子y，y∈{dm}，通过标准的transformer模型解码预测其对应的为了量化模型在预测时的模型不确定性，首先将词级别的翻译概率视作随机变量，通过随机停用nmt模型的部分神经元(dropout)并重新计算翻译概率(同时保持y和固定)来进行翻译概率的采样，最终获得回译过程中的模型不确定性；
[0048]
step2.2、将文本句子向量表征与模型不确定性特征通过crossattention机制建模，计算得出结合句子文本向量表征和模型不确定性表征的隐藏层向量，能区分伪语料中噪声。
[0049]
作为本发明的进一步方案，所述step2.2的具体步骤为：
[0050]
step2.2.1、transformer的核心是运用多头的self-attention自注意力机制，每一个注意力机制头都是对n个元素的输入序列x＝(x1,...,xn)，其中接着计算得出同样长度的序列c＝(c1,...,cn)，其中在此发明中，我们用标记文本句子向量特征，用标记与文本句子词对齐的model-uncertainty。如图3所示，uncertainty enc-attention可表示为：
[0051][0052]
其中是softmax函数计算的权重系数：
[0053][0054]
step2.2.2、uncertainty enc-attention最后计算得出结合句子文本向量表征和model-uncertainty表征的隐藏层向量c，其中在transformer编码端最后一层，c被送入解码端去产生目标语言序列，能区分伪语料中噪声的句子编码向量是用文本句子向量与该句子词对齐的模型不确定性值向量作注意力机制得到，这样句子编码表征能捕捉到上下文的模型不确定性值，在编码时能对模型不确定性值较大的词给予更多的关注，用于实现模型在编码过程中能更好的区分来自伪语料中的噪声数据，即漏译，错译，多译的词。
[0055]
作为本发明的进一步方案，所述step3的具体步骤为：
[0056]
step3.1、为使编码端既能学习回译质量较高的词的编码表征，又能有效降低质量较低的词(漏译，错译，多译的词)对句子有效向量表征的影响，提出，汉缅神经机器翻译训练时，编码端编码方式为：
[0057]
其中attns和
attn
un
是不同参数的注意力机制模型；
[0058]
step3.2、随后进一步送入非线性变换层ffn(
·
)，在此得到了能够有效处理回译语料中噪声的编码向量：最后编码端会输出最后一层的隐藏层状态解码端是常规的transformer解码端，解码过程持续进行直到遇到结束的特殊字符为止。
[0059]
下面为本发明装置实施例，本发明实施例还提供了基于模型不确定性约束的半监督汉缅神经机器翻译装置，该装置包括用于执行上述第一方面的方法的模块。具体可以包括：
[0060]
汉语-缅甸语文本数据预处理模块：用于将汉语-缅甸语文本数据进行数据清洗，编码转换，长度比过滤，分词；
[0061]
模型不确定性注意力机制的获取模块：用于句子编码表征捕捉到上下文的模型不确定性值，编码时对模型不确定值较大词给予更多的关注；
[0062]
模型不确定性为约束的汉缅神经机器翻译训练算法模块：将回译过程的模型不确定性融进transformer编码端每一层表征，提升汉语-缅甸语回译任务翻译性能；
[0063]
汉语-缅甸语互译模块：通过使用训练好的汉语-缅甸语互译模型，实现汉语到缅甸语的翻译和缅甸语到汉语的翻译。
[0064]
在一种可行的实施方式中，所述汉语-缅甸语文本数据预处理模块，具体用于：
[0065]
对汉语-缅甸语文本数据进行清洗：去除汉语、缅甸语文本中的乱码字符，规范标点符号表示方法；
[0066]
对缅甸语编码转换：缅甸语存在zawgyione字体、myanmar3字体统一编码转换，变成unicode字体；
[0067]
长度比进行过滤：保留汉语比缅甸语句子长度比在1～1.5的句子，移除少于5个词，大于30个词的语句，用于提升模型训练效率；
[0068]
进行分词：汉语-缅甸语双语平行句对用分词粒度为16k的bpe分词进行处理，所得汉语词典大小为10k，缅甸语词典大小为5k。
[0069]
在一种可行的实施方式中，所述模型不确定性注意力机制的获取模块，具体用于：
[0070]
在回译过程中，给定一个真实的目标语言句子y，y∈{dm}，通过标准的transformer模型解码预测其对应的为了量化模型在预测时的模型不确定性，首先将词级别的翻译概率视作随机变量，通过随机停用nmt模型的部分神经元(dropout)并重新计算翻译概率(同时保持y和固定)来进行翻译概率的采样，最终获得回译过程中的模型不确定性；
[0071]
将文本句子向量表征与模型不确定性特征通过crossattention机制建模，计算得出结合句子文本向量表征和模型不确定性表征的隐藏层向量，能区分伪语料中噪声。
[0072]
在一种可行的实施方式中，所述模型不确定性为约束的汉缅神经机器翻译训练算法模块，具体用于：
[0073]
当汉缅神经机器翻译训练时，编码端编码方式为：
[0074]
其中attns和
attn
un
是不同参数的注意力机制模型；
[0075]
随后进一步送入非线性变换层ffn(
·
)，在此得到了能够有效处理回译语料中噪声的编码向量：最后编码端会输出最后一层的隐藏层状态解码端是常规的transformer解码端，解码过程持续进行直到遇到结束的特殊字符为止。
[0076]
进一步地，下面为本发明另一种装置实施例，本发明实施例还提供了基于模型不确定性约束的半监督汉缅神经机器翻译装置，该装置包括用于执行上述第一方面的方法的模块。具体可以包括：
[0077]
汉语-缅甸语文本数据预处理模块：用于将汉语-缅甸语文本数据进行数据清洗，编码转换，长度比过滤，分词；
[0078]
模型不确定性为约束的汉缅神经机器翻译模块：量化模型在回译过程中的模型不确定性，将词级别的翻译概率视作随机变量，通过随机停用nmt模型的部分神经元并重新计算翻译概率来进行翻译概率的采样，获取回译过程中的模型不确定性，将文本句子向量表征与模型不确定性特征通过crossattention机制建模，计算得出结合句子文本向量表征和模型不确定性表征的隐藏层向量，能区分伪语料中噪声。
[0079]
汉语-缅甸语互译模块：通过使用结合回译过程中模型不确定性训练好的汉语-缅甸语互译模型，实现汉语到缅甸语的翻译和缅甸语到汉语的翻译。
[0080]
为了说明本发明的效果，本发明进行了如下实验：评价的方法是multi-bleu.perl脚本提供的bleu计算方法。训练集是160k的汉缅双语平行语料，其中20k的汉缅双语平行语料来自于asian language treebank(alt),其余的来自于多语言圣经语料库以及人工收集，语料覆盖旅游，文学等领域。缅甸语的单语语料是维基百科上爬取的单语缅甸语文本段落，在分句，移除少于5个词，大于30个词的语句以后，缅甸语单语语料库规模为200k的缅甸语单语句子。测试集是训练集中截取查重后的5k双语平行语句。汉语和缅甸语的句子用分词粒度参数为16k的byte pair encoding进行预处理，汉语词典大小为10k，缅甸语词典大小为5k。本发明将计算不确定性约束的汉缅机器翻译算法应用在transformer的基础上。使用参数设置β1＝0.9,β2＝0.98和∈＝10-9
的adam优化器优化模型。我们使用参数设置warm_steps＝4000的warm-up策略来调整学习率。在模型训练期间，lable smoothing的超参数∈
ls
＝0.1。在训练和monte carlo dropout的过程中，dropout的超参数设置为0.1，k设置成20在实验中，我们的超参数β设置为2，α，γ取值将在实验二详细讨论。所有试验在1nvidia gtx 2080ti gpu上进行。
[0081]
为了验证本发明提出的发明方法的效果，设计以下对比实验进行分析。在该数据集上进行了3组实验。
[0082]
实验一、表明了
[0083]
中α∶γ不同取值对实验结果的影响，实验结果如表1所示。
[0084]
表1 α∶γ不同取值下模型不确定性注意力机制与self-attention融合比例实验结果，encoder融合层数全为6层
[0085][0086]
由表可以得出α∶γ＝0.6∶0.4的取值是一个粗糙的分界点，在α∶γ＝0.6∶0.4取值的基础上减小uncertainty enc-attention的融合比例会促进模型性能提升，初步探讨最大提升是当α∶γ＝0.8∶0.2时最大提升值是24.72，较baseline提升了4.01个bleu点。由此可以看出α∶γ的不同取值对模型性能有不同的影响实验二、α∶γ＝0.8∶0.2取值下模型不确定性注意力机制与self-attention在编码端融合层数探讨，实验结果如表2所示。
[0087]
表2 α∶γ＝0.8∶0.2取值下模型不确定性注意力机制与self-attention在编码端融合层数探讨
[0088][0089]
实验证明在模型编码端融入句子中词对齐的uncertainty
bt
对模型学习伪语料的句子表征是有实际意义的，在适当的uncertainty enc-attention与self-attention融合比例下uncertainty
bt
可协助编码端更好的处理伪语料中的噪声，但是当α∶γ＝0.6∶0.4时模型性能有较大幅度的下降，表明编码端融入过多的uncertainty
bt
表征会妨碍模型收敛，影响模型性能。进一步证明了编码端的uncertainty enc-attention与self-attention融合比例和融合方式具有深远的可探讨意义。
[0090]
表2表明了在α∶γ＝0.8∶0.2取值下模型不确定性注意力机制融合在编码端不同层数对实验结果影响，由表可以得出，模型不确定性注意力机制融合在transformer的编码端每一层时模型的效果是最好的。将模型不确定性注意力机制融合在编码端前三层和后三层效果差别不大，当模型不确定性注意力机制只融合在第一层时此方法带给模型提升较小。
[0091]
实验三、为充分验证方法有效性，本发明设置对比实验如下：
[0092]
(1)回译方法：利用有限的真实平行语料训练的神经机器翻译模型去生成的伪平行人造语料，再用得到的伪平行人造语料和真实平行语料一起训练模型的回译方法。
[0093]
(2)迁移学习方法：利用学习好的父模型参数迁移到低资源子模型方法改善低资
源语言翻译性能。
[0094]
(3)cev：利用基于模型不确定的词级别置信度和句子级别置信度改善回译性能。
[0095]
(4)transformer：我们将比较仅在transformer模型上，不使用回译方法和模型不确定性方法的实验结果。
[0096]
(5)结合实验二实验结果，此节实验本发明设置α∶γ＝0.8∶0.2，模型不确定性注意力机制与self-attention融合编码端层数为6层。
[0097]
表3主要实验结果
[0098][0099]
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。