本发明属于人工智能，涉及自然语言处理，特别涉及一种面向图文模态多级特征的蒙古语情感分析方法。
背景技术：
1、情感是人对客观事物所持有的态度。最简单的情感可以分为积极、消极、中性，又称情绪。这些情感构成了人与人之间沟通交流的多样性，同时也包含了丰富的信息，帮助人们掌握事物在特定场景下的状态以及对相关事物的态度。
2、随着互联网技术的迅速发展，人类在社交和购物平台发表的观点或评论愈来愈多，情感分析旨在通过用户发表的各类信息分析出用户想要表达的情感极性。传统的情感分析方法只考虑一种模态，即文本模态的情感，通过使用字词、短语或它们的语义关联来探索交流过程中的情感表达。然而，这些单模态方法往往无法准确捕捉到人类情感的丰富性与复杂性。而通过多模态情感分析结合文本、图像和面部表情等信息可以提高情感分析的准确性和鲁棒性。
3、由于不同模态的信息在数据形式和处理方式上有很大差别，在情感分析模型中多增加的一种模态信息虽然可能带来潜在的效果提升，但同时增加了建模的复杂程度和难度。多模态情感分析模型的核心任务是最大化发挥模态融合的优势。
4、蒙古语是一种低资源语言，有关蒙古语情感分析相关研究较少，因而存在数据集匮乏的问题，现有多模态情感分析技术不能有效利用有限的各领域的蒙古语多模态数据集；以往的多模态情感分析技术的主要局限性是它们忽略了在融合之前有效的情态表征学习，蒙古语属于黏着性语言，与英语和汉语的语法结构不同，故现有的情感分析技术对于蒙古语的文本模态的特征表达不能充分捕捉语言的复杂性，如词的使用，包括整个上下文的语义和语法，以及上下文中的多义性，故而使得多模态融合之前的情态表征不能得到充分学习；其次，对于多模态特征的融合问题，现有技术不能完全消除图文模态之间的异构性，从而有效对齐与融合图文模态信息，提取图文模态的深层情感信息，导致最终的多模态情感分类效果不佳。现有的多模态情感研究侧重于捕获和突出显示文本和图像之间的相关信息，这些方法的局限性在于其可靠性和有效性依赖于“同一话语的文本和图像传达了相同的情感”的假设，没有考虑到讽刺等其他情况会影响情感极性的判断。
技术实现思路
1、为了克服上述现有技术的缺点，本发明的目的在于提供一种面向图文模态多级特征的蒙古语情感分析方法，在融合图文模态的多级特征表示的基础上，加入终身学习；在图文模态信息融合中引入互注意力机制，最终以此来提高蒙古语多模态情感分析准确率。
2、为了实现上述目的，本发明采用的技术方案是：
3、一种面向图文模态多级特征的蒙古语情感分析方法，包括如下步骤：
4、步骤1，构建蒙古语图文模态情感分析数据集，获取其中文本的静态特征向量εt和图像的静态特征向量εi；
5、步骤2，将εt和εi形成图文对的形式，利用终身学习模块获取文本的高级特征向量和图像的高级特征向量
6、步骤3，融合文本的语法向量εtpos和εt，并与拼接，构成文本的多级特征向量，计算文本模态的情感极性pt；根据εi提取中级特征向量，并与拼接，构成图像的多级特征向量，计算图像模态的情感极性pi；融合和计算图文模态的情感极性pm；
7、步骤4，将pt和pi输入到预训练的判断模块中，判断是否讽刺，若是，则直接输出讽刺情感；若否，则根据pt、pi和pm，使用决策融合计算最终的图文模态情感极性p。
8、与现有技术相比，本发明的有益效果是：
9、1、使用一种基于混合词表示的文本特征，集成三种嵌入，包括上下文的动态特征表示、静态语义特征表示和语法特征表示，构成文本的多级特征表示以达到有效的情感表征学习；使用图像情感增强模块处理图像得到基于情感增强的图像中级特征表示，与图像的高级特征表示拼接，构成图像模态的多级特征表示以充分获取图像区域、整体的情感特征表示。通过融合多级特征表示来获取有效的单模态情感表征信息。
10、2、将图像和文本低级特征表示输入到改进的transformer模块中，利用多头自注意力捕捉图像与文本之间的关联性和互补性，挖掘长距离的依赖关系以及模态组合之间的双向交互关系。从而达到加强图文模态的信息融合，以识别跨模态的相关语义信息。
11、3、在transformer模块中加入终身学习，积累对于情感特征表达的学习经验，提取不同域数据集以及不同任务的共有情感特征知识，解决数据集匮乏的同时，达到更好的情感特征的学习。
12、4、在图像和文本的单模态情感分析中加入自注意力机制，可以充分挖掘情感信息，以提高单模态情感分析的准确率；在图像文本融合中加入互注意力机制，捕捉跨模态的细粒度关系，有效的捕获图像与文本之间的互补信息，构建模态融合特征表示，以提高图文模态融合的情感分析的准确率。
13、5、将图文模态的单模态情感分析结果与融合后的多模态情感分析结果做决策融合，能够充分利用模态自身的信息，有效的使用模态内和模态间特征，并对数据丢失具有一定的抗性，根据图像文本模态的情感结果判断是否讽刺，再进行不同的融合策略，从而更精确的识别多模态情感极性。
1.一种面向图文模态多级特征的蒙古语情感分析方法，其特征在于，包括如下步骤：
2.根据权利要求1所述面向图文模态多级特征的蒙古语情感分析方法，其特征在于，所述步骤1，通过机器翻译将非蒙古语的情感分析图文数据集翻译为蒙古语图文数据集，与公开的蒙古语图文数据集构成最终的蒙古语图文模态情感分析数据集。
3.根据权利要求2所述面向图文模态多级特征的蒙古语情感分析方法，其特征在于，所述步骤1，所述非蒙古语的情感分析图文数据集包括汉语情感分析图文数据集和英语情感分析图文数据集；使用预训练的fasttext获取文本的静态特征向量εt；使用预训练的fasterrcnn获取图像的静态特征向量εi。
4.根据权利要求1所述面向图文模态多级特征的蒙古语情感分析方法，其特征在于，所述终身学习模块包括多层改进的transformer编码块，每层包含按顺序的卷积层、多头注意层和全连接层三个子层；使用不确定性正则化约束多头注意层和全连接层的投影参数和权重参数，达到终身学习的目的；将εt和εi拼接形成图文对的形式，并添加表示图像特征开始和结束的标识符和表示文本特征开始和结束的标识符，输入所述终身学习模块，训练得到和
5.根据权利要求4所述面向图文模态多级特征的蒙古语情感分析方法，其特征在于，所述卷积层为一次1×1的卷积操作，多头注意层中第i个注意头计算为：
6.根据权利要求4或5所述面向图文模态多级特征的蒙古语情感分析方法，其特征在于，所述不确定性正则化表示为：
7.根据权利要求4所述面向图文模态多级特征的蒙古语情感分析方法，其特征在于，所述步骤3，对文本进行词性分析，生成文本的语法向量εtpos，将εt与εtpos相加，再与拼接，构成文本的多级特征向量hw，对hw进行自注意力分析，如下：
8.根据权利要求7所述面向图文模态多级特征的蒙古语情感分析方法，其特征在于，所述步骤3，使用全连接层将和分别转换到记忆块mt和mi，在各自分支中计算一个记忆块与原始特征之间的相似度，得到注意权值，最后将记忆块与注意力权重相乘，使用线性fc层更新参数，如下：
9.根据权利要求7所述面向图文模态多级特征的蒙古语情感分析方法，其特征在于，所述步骤4，将pt和pi分别输入由svm构成的判断模块中，利用svm进行二值分类，从而判断图文对是否讽刺。
10.根据权利要求1所述面向图文模态多级特征的蒙古语情感分析方法，其特征在于，所述步骤4，决策融合计算的方法如下：
