融合多尺度语义特征图的缅甸语图像文本识别方法及装置

1.本发明涉及融合多尺度语义特征图的缅甸语图像文本识别方法及装置，属于自然语言处理技术领域。


背景技术：

2.由于缅甸语属于低资源语言，缅甸语文本数据较难获得，但是互联网中存在大量含有缅甸语的图像，因此，如何利用深度学习技术对缅甸语文本图像进行识别成为了关键问题，结合缅甸语图像文本识别技术获取缅甸语单语语料，可以为缅甸语机器翻译、实体识别及信息检索等自然语言处理任务提供重要的数据支撑。
3.缅甸语字符组合与英文、中文不同，缅甸语由基础字符、基础前字符、基础后字符、基础上字符和基础下字符构成，所以缅甸语在图像中的组合字符是由多个单字符组合而成，如图1所示，缅甸语图像中的组合字符实际上由基础字符基础上字符以及基础下字符组成，但是在图1(b,c)中，感受野内的中文和英语都是由单个字符构成的，没有明显的边缘特征，现有针对中文、英文的图像文本识别模型所利用特征序列信息主要来源于深度卷积神经网络中最后一层网络输出的特征图，取得了较好的效果，但是，这样的方式会造成部分语义信息丢失，尤其是针对缅甸语这种字符嵌套组合的语言，语义信息丢失更加明显，例如，一个感受野中的缅甸语经过卷积神经网络时，等类型的微小特征在高层语义特征图存在丢失问题，所以，主流的图像文本识别方法直接应用于缅甸语上并不适用。
4.目前，图像文本识别方法在中英文等大规模训练集上展现出非常强大的性能，但这依赖于大规模、高质量的训练数据，由于目前没有公开的高质量、大规模缅甸语文字识别数据集，通过合成方式构建的缅甸语图像数据集图像背景复杂、图片质量低下，导致特征缺失的问题更为严重，利用常规的网络训练策略得到的模型往往会使模型泛化能力较弱。


技术实现要素：

5.本发明提供了融合多尺度语义特征图的缅甸语图像文本识别方法及装置，以用于缓解复杂背景下缅甸语字符丢失的问题，提升模型训练样本的多样性，以及提升复杂背景下模型的识别性能。
6.本发明的技术方案是：第一方面，本发明提供融合多尺度语义特征图的缅甸语图像文本识别方法，所述方法的具体步骤如下：
7.step1、对缅甸语图像数据进行预处理：通过人工方式收集缅甸语图像，利用数据增广技术对缅甸语图像进行数据扩充，将缅甸语图像进行灰度化；
8.step2、融合缅甸语图像的多尺度语义特征：采用残差块、卷积神经网络设计缅甸语图像特征提取网络，并利用其从缅甸语图像中获取具有语义信息的多尺度语义特征；最终将提取的多尺度语义特征通过特征上采样进行融合增强；
9.step3、使用mix up数据增强策略进行缅甸语图像文本识别模型训练：让两个训练
样本进行融合，将融合结果分别与对应的缅甸语标签进行损失计算，将加权损失作为目标优化函数实现网络训练；
10.step4、对缅甸语图像特征提取并进行特征增强之后的特征进行字符最优预测，利用注意力机制关注图像中文字区域，同时在分类字符中加入起始以及结束标签，将输入模型的缅甸语图片进行识别得到缅甸语文本。
11.作为本发明的进一步方案，所述step2中，多尺度语义特征的获取如下：从缅甸语图像特征提取网络的不同阶段依次获取具有微小字符特征、字符形状特征、字符边缘特征以及字符轮廓特征的底层语义信息、具有丰富的主干特征的高层语义特征特征图；最终将提取的底层语义信息与高层语义特征特征图通过特征上采样进行融合增强。
12.作为本发明的进一步方案，所述step1的具体步骤为：
13.step1.1、缅甸语图像数据收集以及缅甸语图像数据增广：收集缅甸语真实图像数据，其中包括具有短文本的缅甸语文本信息图像、长文本的缅甸语文本信息图像；同时对缅甸语真实图像数据增加高斯噪声和椒盐噪声实现数据扩充；
14.step1.2、缅甸语图像灰度化：计算缅甸语图像每个像素点r、g、b三个分量的平均值，再将这个平均值赋予这个像素的三个分量，从而实现缅甸语图像的灰度化；
15.step1.3、分析缅甸语图像数据像素大小分布，训练样本的缅甸语图像像素高为32，宽分布于90-140区间内，设置模型输入为32*100，保证识别模型支持批次训练。
16.作为本发明的进一步方案，所述step2的具体步骤为：
17.step2.1、缅甸语图像的多尺度语义特征获取：利用残差块、卷积层、归一化层设计缅甸语图像特征提取网络，自动获取缅甸语图像特征，根据不同网络深度将特征提取网络分为五个阶段，并从五个阶段当中得到获取多尺度语义特征图；
18.step2.2、缅甸语图像的多尺度语义特征融合：设计缅甸语特征融合网络，利用上采样和通道数叠加的方法将多尺度语义特征图进行融合，具体将存在采样和通道数叠加的方法将多尺度语义特征图进行融合，具体将存在字符的语义信息底层语义特征图与高层语义特征图进行融合。
19.作为本发明的进一步方案，所述step2.2的具体步骤为：
20.step2.2.1、设计融合缅甸语特征的金字塔网络，融合缅甸语多尺度语义特征图：利用上采样卷积层、连接层设计特征融合网络；特征融合输入层融合对象为缅甸语图像特征提取网络layer1、layer2、layer3、layer4以及layer5五阶段得到五个不同尺度的语义特征图；其中，layer1、layer2、layer3阶段用于获得微小字符的特征，layer4和layer5阶段具有更丰富以及正常大小字符的特征；
21.step2.2.2、高层语义特征图、底层语义信息融合：采用通道数叠加以及双线性插值方法实现高层语义特征图与低层语义信息特征图融合；对于融合的五个多尺度特征将被表示为c1、c2、c3、c4、c5，融合之前减少c2、c3、c4、c5特征图的通道数以得到新的特征图{m2、m3、m4、m5}：
22.mi＝reduce(ci)
23.通过减少初始的语义特征图通道数，保证用最少的特征图保留缅甸图像特征信息；减少特征图大小的策略是利用通道数为128、大小为1*1卷积核以1的步长进行卷积计算，最终得到的特征图{m2、m3、m4、m5}的通道数都为128；
24.再将m5进行卷积计算得到高层语义特征图p5，基于双线性插值的上采样方法将特
征图p5放大到m4大小，将处理之后的结果与特征图m3进行相加操作以得到融合特征图p4,利用同样的方式最终得到融合特征图{p2、p3、p4、p5}，最终将{p3、p4、p5}三种类型的融合特征图上采样到p2大小，再进行通道叠加操作以起到特征增强的作用，得到最终的增强特征图h5。
25.作为本发明的进一步方案，所述step4的具体步骤为：
26.step4.1、将输入的增强特征图h5转换为特征序列：为从缅甸语图像特征中获取具有上下文信息的缅甸语特征向量表示，将增强之后的特征图h4用卷积核大小为1、卷积核数量为128的卷积进行计算，最终得到8*25*128大小三维特征图；将该特征图的第一维和第三维合并1024长度的特征向量，一共有25个，表示为：(f1,f2,
…
,f
t
)，其中t为25；
27.step4.2、模型识别层：利用bilstm对缅甸语特征序列(f1,f2,
…
,f
t
)进行再次编码，得到具有序列之间上下文信息的向量(h1,h2,
…
,h
t
)，为了将缅甸语特征向量解码成字符，获取每个时刻的向量(h1,h2,
…
,h
t
)的注意力权重分布，将(h1,h2,
…
,h
t
)以注意力权重为权值进行加权求和，将加权得到的向量送入softmax进行分类从而实现字符识别，字符分类总数为缅甸语字符与判断缅甸语文字起始标签的集合；公式如下所示：
28.enconder(m)＝(f1,f2,
…
,f
t
)
29.y
t
＝softmax(g
t
)
[0030][0031]
其中，y
t
表示t时刻解码器的预测，α
t,j
是由注意力机制生成的权重；
[0032]
step4.2、将预测结果(y1,y2,
…
,y
t
)进行后处理，删除起始标签go之前以及结束标签eos之后的缅甸语字符，保留下来的缅甸语字符序列就是最终的预测结果。
[0033]
第二方面，本发明实施例还提供融合多尺度语义特征图的缅甸语图像文本识别装置，该装置包括用于执行上述第一方面的方法的模块。
[0034]
本发明的有益效果是：
[0035]
针对解决字符组合导致上下标特征丢失问题，本发明提出了一种融合多尺度语义特征的缅甸语图像文本识别方法，将卷积神经网络提取的具有缅甸语特征信息特征图进行融合操作，实现主干网络对缅甸语特征提取能力的增强，缓解了缅甸语图像识别过程中上下标字符缺失问题；同时为结果模型在复杂背景下对缅甸语图像的识别不佳问题，首次将mix up数据增强策略用于缅甸语图像识别网络训练上，从而提升缅甸语复杂背景下的识别模型，对缅甸语语料库的构建具有一定的理论意义和实际应用价值。
附图说明
[0036]
图1为本发明中缅甸语、英文、中文实例字符组合示意图；
[0037]
图2为本发明中融合多尺度语义特征的缅甸语图像文本识别网络架构图；
[0038]
图3为本发明中缅甸语图像文本识别网络数据增强策略图；
[0039]
图4为本发明中的方法流程框图。
具体实施方式
[0040]
实施例1：第一方面，如图1-4所示，基于融合多尺度语义特征图的缅甸语图像文本
识别方法，所述方法具体步骤如下：
[0041]
step1、对缅甸语图像数据进行预处理：通过人工方式收集缅甸语图像，利用数据增广技术对缅甸语图像进行数据扩充，将缅甸语图像进行灰度化以降低缅甸语背景带来的影响，根据实验分析设置模型输入大小；
[0042]
step2、融合缅甸语图像的多尺度语义特征：利用残差块、卷积神经网络设计缅甸语图像特征提取网络，从缅甸语中获取具有缅甸语图像中以及等多尺度语义特征；多尺度语义特征的获取如下：从缅甸语特征提取网络的不同阶段依次获取具有等微小字符特征、字符形状特征、字符边缘特征以及字符轮廓特征的底层语义信息，具有丰富的主干特征的高层语义特征特征图；最终将提取的底层语义信息与高层语义信息通过特征上采样进行融合；
[0043]
step3、使用mix up数据增强策略进行缅甸语图像文本识别模型训练：为缓解缅甸语真实样本缺少造成模型鲁棒性低的问题，让两个训练样本进行融合，将融合结果分别与对应的缅甸语标签进行损失计算，将加权损失作为目标优化函数实现网络训练，从而提升模型识别对不同背景的泛化能力；
[0044]
step4、对缅甸语图像特征提取并进行特征增强之后的特征进行字符最优预测，考虑特征向量与字符之间的管理，为准确预测图像中文字的起始与结束，例如最后的特征向量不一定对应缅甸语文本的最后一个字符，利用注意力机制关注图像中文字区域，同时在分类字符中加入起始以及结束标签，具体数学表示为go、eos。将输入模型的缅甸语图片进行识别得到缅甸语文本。
[0045]
作为本发明的优选方案，所述步骤step1的具体步骤为：
[0046]
在数据预处理层面，通过人工数据收集缅甸语图像，并添加高斯噪声和椒盐椒盐噪声实现数据增广；再将缅甸语图像灰度化，这要做的目的是为了实现对复杂场景噪声特征的降低，设置模型输入，让模型支持批次训练，提升训练速度。
[0047]
step1.1、缅甸语图像数据收集以及缅甸语图像数据增广：收集缅甸语真实图像数据，其中包括具有短文本的缅甸语文本信息图像、长文本的缅甸语文本信息图像；同时对真实缅甸语图像数据增加高斯噪声和椒盐噪声实现数据扩充；
[0048]
step1.2、缅甸语图像灰度化：为降低噪声对模型识别性能的影响，计算缅甸语图像每个像素点r、g、b三个分量的平均值，再将这个平均值赋予这个像素的三个分量，从而实现缅甸语图像的灰度化；
[0049]
step1.3、分析缅甸语图像数据像素大小分布，训练样本的缅甸语图像像素高为32，宽分布于90-140区间内，根据实验分析，模型输入为32*100时实验效果最佳，设置模型输入为32*100，保证识别模型支持批次训练。
[0050]
作为本发明的优选方案，所述步骤step2的具体步骤为：
[0051]
step2.1、缅甸语图像的多尺度语义特征获取：为避免手工设计特征带来的资源消耗，本发明利用残差块、卷积层、归一化层设计缅甸语图像特征提取网络，自动获取缅甸语图像特征，根据不同网络深度将特征提取网络分为五个阶段，并从五个阶段当中得到获取多尺度语义特征图，具有丰富的语义信息，其中底层语义特征图存在等字符的语义信息，高层语义进一步凝练了主干信息，但是缺少等字符的语义信息
[0052]
step2.2、缅甸语图像的多尺度语义特征融合：设计缅甸语特征融合网络，利用上采样和通道数叠加的方法将多尺度语义特征图进行融合，具体将存在采样和通道数叠加的方法将多尺度语义特征图进行融合，具体将存在等字符的语义信息底层语义特征图与高层语义特征图进行融合。
[0053]
作为本发明的优选方案，所述步骤step2.2的具体步骤为：
[0054]
step2.2.1、设计融合缅甸语特征的金字塔网络，融合缅甸语多尺度语义特征图：利用上采样卷积层、连接层设计特征融合网络；特征融合输入层融合对象为缅甸语图像特征提取网络layer1、layer2、layer3、layer4以及layer5五阶段得到五个不同尺度的语义特征图；比如：layer1、layer2、layer3阶段用于获得等微小字符的特征，layer4和layer5阶段具有更富以及等正常大小字符的特征。
[0055]
step2.2.2、高层语义信息、底层语义信息融合：基于以上步骤获得了缅甸语的多尺度特征，为了将融合之后的特征使用于后续的字符识别，采用通道数叠加以及双线性插值方法实现高层语义信息特征图与低层语义信息特征图。对于融合的五个多尺度特征将被表示为c1、c2、c3、c4、c5，融合之前减少c2、c3、c4、c5特征图的通道数以得到新的特征图{m2、m3、m4、m5}：
[0056]
mi＝reduce(ci)
[0057]
通过减少初始的语义特征图通道数，保证用最少的特征图保留缅甸图像特征信息。减少特征图大小的策略是利用通道数为128、大小为1*1卷积核以1的步长进行卷积计算，最终得到的特征图{m2、m3、m4、m5}的通道数都为128。
[0058]
再将m5进行卷积计算(卷积核大小为3*3，步长为一)得到高层语义特征图p5基于双线性插值的上采样方法特征图p5放大到m4大小，将处理之后的结果与特征图m3进行相加操作以得到融合特征图p4,利用同样的方式最终得到融合特征图{p2、p3、p4、p5}，最终将{p3、p4、p5}三种类型的融合特征图上采样到p2大小，再进行通道叠加操作以起到特征增强的作用，得到最终的增强特征图h5。
[0059]
作为本发明的优选方案，所述步骤step3的具体步骤为：
[0060]
step3.1、模型训练层：首先在模型输入端对两个训练样本进行融合，再将融合结果与两个训练样本对应的真实标签进行损失计算并进行加权求和，最终基于加权求和之后的损失，作为网络的目标优化函数，实现网络参数优化。
[0061]
作为本发明的优选方案，所述步骤step4的具体步骤为：
[0062]
step4.1、将输入的增强特征图h5转换为特征序列：为从缅甸语图像特征中获取具有上下文信息的缅甸语特征向量表示，将增强之后的特征图h4用卷积核大小为1、卷积核数量为128的卷积进行计算，最终得到8*25*128大小三维特征图；将该特征图的第一维和第三维合并1024长度的特征向量，一共有25个，表示为：(f1,f2,
…
,f
t
)，其中t为25。
[0063]
step4.2、模型识别层：利用bilstm对缅甸语特征序列(f1,f2,
…
,f
t
)进行再次编码，得到具有序列之间上下文信息的向量(h1,h2,
…
,h
t
)，为了将缅甸语特征向量解码成字符，获取每个时刻的向量(h1,h2,
…
,h
t
)的注意力权重分布，将(h1,h2,
…
,h
t
)以注意力权重为权值进行加权求和，将加权得到的向量送入softmax进行分类从而实现字符识别，字符分类总数为缅甸语字符与两个自定义标签的集合。公式如下所示：
[0064]
enconder(m)＝(f1,f2,
…
,f
t
)
[0065]yt
＝softmax(g
t
)
[0066][0067]
其中，y
t
表示t时刻解码器的预测，α
t,j
是由注意力机制生成的权重。
[0068]
step4.2、将预测结果(y1,y2,
…
,y
t
)进行后处理，删除go之前以及eos之后的缅甸语字符，保留下来的缅甸语字符序列就是最终的预测结果。
[0069]
为了说明本发明的效果，本发明进行了如下实验，本发明选择的缅甸语图像数据集如下所示。该数据集中包含了500万张含有噪声的缅甸语图像。其中，分别随机选取50万缅甸语图像作为评估数据集和测试数据集。
[0070]
在神经网络训练前，本发明将数据保存为.mdb格式以提升实验数据读取速率。本发明的实验是基于pytorch框架实现的，实验服务器的配置为intel(r)xeon(r)gold 6132cpu@2.60ghz，nvidia corporation gp100gl gpu。为保证对比实验的公平性，本发明将所有的缅甸语识别模型放置在同一实验条件下进行实验，实验所选优化器为adam，初始学习率为1，训练时采用cosineannealing策略，基于余弦函数实现学习率动态变换，以保证网络的目标函数接近最优解时具备更小的学习率；模型训练的批处理大小设置为100，训练步长设为400000，训练epoch为10，实验结果选择评测中最高的准确率。
[0071]
实验采用缅甸语序列率精确率(sequence accuracy,sa)作为评价指标，如下述公式所示：
[0072][0073]
其中fs、sl、ln分别代表缅甸语文本图像识别的序列精确率、正确的序列总数、序列的总数。。
[0074]
为了验证本发明提出的发明方法的效果，设计以下对比实验进行分析。在该数据集上进行了2组实验。
[0075]
实验一、本发明选取cnn bilstm attention的方法作为基线模型，并与lstm ctc、cnn ctc、cnn lstm ctc以及cnn bilstm ctc.进行比较，实验结果如表1所示。
[0076]
表1基线模型和本发明的方法在数据集上的结果
[0077][0078]
与基线模型(cnn bilstm attention)相比，本发明的方法在识别缅甸语的过程中更好地提取到缅甸语上下标特征信息，以及识别不同背景下地缅甸语图像具有更好的泛化能力。在缅甸语数据集上准确率提升了2.2％。
[0079]
与使用ctc解码器的图像识别模型(cnn bilstm ctc、cnn lstm ctc、cnn ctc、lstm ctc)相比，本发明针对缅甸语的图像识别方法也展现出来明显的优势。尽管特征提取
网络都是利用了resnet-50进行特征提取，但不同的是，本发明所融合得到的多尺度语义特征图不仅包含了高层语义信息，还融合了具有上下标特征信息的低层语义信息。与其相比，本发明方法识别效果得到了明显的提升。
[0080]
为保证验证实验的真实性以及有效性，本发明用人工标注的方式额外标注了1000张真实场景图像，并将其作为测试集。本发明在这1000张真实场景测试集上进行测试实验，实验结果如表2所示。
[0081]
表2基线模型和本发明的方法在真实场景测试集上的结果
[0082][0083]
本发明的方法在对1000张真实场景测试集图像的识别中仍然保持着最优的效果，同比基线模型的准确率能够提升1.8个百分点，融合特征图的方式能够帮助后续的缅甸语识别解码器获取更多的特征，利用丰富的缅甸语图像特征，解码器能够很大程度上提升准确率；mix up数据增强策略能够在大量的合成数据集上起到数据扩充，保证识别模型面对真实场景图像时具有强大的鲁棒性。
[0084]
为验证缅甸语多尺度语义特征图融合策略和mix up网络增强策略各自的有效性，本发明分别对其做了消融试验。本发明分别对以vgg-16为主干网络和以resnet-50为主干网络的基线模型进行消融实验，实验结果如表3所示，其中mix mut表示是否使用mix up数据增强策略，feature mut表示是否使用多尺度语义特征图融合。从实验结果可以看出，以vgg-16为主干网络的缅甸语图像识别模型在仅使用多尺度语义特征图融合策略时，识别准确率可以提高0.7百分点；在仅使用mix up数据增强策略时，识别准确率可以提高0.9个百分点。以resnet-50为主干网络的缅甸语图像识别模型在上述两种情况下准确率分别可以提高0.9，0.4个百分点。使用不同的主干网络识别模型也展现出了性能的差异，在不使mix up数据增强策略以及特征图融合策略时，利用残差网络resnet-50进行缅甸语特征提取之后的识别准确率达到92.7\％，与vgg-16作为特征提取网络的识别模型准确率高0.5个百分点，说明残差网络resnet-50的特征提取能力优于vgg-16，为此本发明方法的主干网络基于残差网络进行设计。
[0085]
表3语义特征图融合和mix up对识别的影响
[0086][0087]
下面为本发明装置实施例，本发明实施例还提供了融合多尺度语义特征图的缅甸语图像文本识别装置，该装置包括用于执行上述第一方面的方法的模块。具体包括如下模块：
[0088]
缅甸语图像数据进行预处理模块：用于对缅甸语图像数据进行预处理：具体的，用于通过人工方式收集缅甸语图像，利用数据增广技术对缅甸语图像进行数据扩充，将缅甸语图像进行灰度化；
[0089]
融合缅甸语图像的多尺度语义特征模块：用于采用残差块、卷积神经网络设计缅甸语图像特征提取网络，并利用其从缅甸语图像中获取具有语义信息的多尺度语义特征；最终将提取的多尺度语义特征通过特征上采样进行融合增强；
[0090]
缅甸语的mix up数据增强策略模块：用于使用mix up数据增强策略进行缅甸语图像文本识别模型训练：用于让两个训练样本进行融合，将融合结果分别与对应的缅甸语标签进行损失计算，将加权损失作为目标优化函数实现网络训练；
[0091]
缅甸语图像文本识别模块：用于对缅甸语图像特征提取并进行特征增强之后的特征进行字符最优预测，利用注意力机制关注图像中文字区域，同时在分类字符中加入起始以及结束标签，将输入模型的缅甸语图片进行识别得到缅甸语文本。
[0092]
在一种可行的实施方式中，融合缅甸语图像的多尺度语义特征模块，具体还用于：多尺度语义特征的获取：
[0093]
从缅甸语图像特征提取网络的不同阶段依次获取具有微小字符特征、字符形状特征、字符边缘特征以及字符轮廓特征的底层语义信息、具有丰富的主干特征的高层语义特征图；最终将提取的底层语义信息与高层语义特征图通过特征上采样进行融合增强。
[0094]
在一种可行的实施方式中，缅甸语图像数据进行预处理模块，具体用于：
[0095]
缅甸语图像数据收集以及缅甸语图像数据增广：收集缅甸语真实图像数据，其中包括具有短文本的缅甸语文本信息图像、长文本的缅甸语文本信息图像；同时对缅甸语真实图像数据增加高斯噪声和椒盐噪声实现数据扩充；
[0096]
缅甸语图像灰度化：计算缅甸语图像每个像素点r、g、b三个分量的平均值，再将这个平均值赋予这个像素的三个分量，从而实现缅甸语图像的灰度化；
[0097]
分析缅甸语图像数据像素大小分布，训练样本的缅甸语图像像素高为32，宽分布于90-140区间内，设置模型输入为32*100，保证识别模型支持批次训练。
[0098]
在一种可行的实施方式中，融合缅甸语图像的多尺度语义特征模块，具体还用于：
[0099]
缅甸语图像的多尺度语义特征获取：利用残差块、卷积层、归一化层设计缅甸语图像特征提取网络，自动获取缅甸语图像特征，根据不同网络深度将特征提取网络分为五个阶段，并从五个阶段当中得到获取多尺度语义特征图；
[0100]
缅甸语图像的多尺度语义特征融合：设计缅甸语特征融合网络，利用上采样和通道数叠加的方法将多尺度语义特征图进行融合，具体将存在字符的语义信息底层语义特征图与高层语义特征图进行融合。
[0101]
在一种可行的实施方式中，融合缅甸语图像的多尺度语义特征模块，具体还用于：
[0102]
设计融合缅甸语特征的金字塔网络，融合缅甸语多尺度语义特征图：利用上采样卷积层、连接层设计特征融合网络；特征融合输入层融合对象为缅甸语图像特征提取网络layer1、layer2、layer3、layer4以及layer5五阶段得到五个不同尺度的语义特征图；其中，layer1、layer2、layer3阶段用于获得微小字符的特征，layer4和layer5阶段具有更丰富以及正常大小字符的特征；
[0103]
高层语义特征图、底层语义信息融合：采用通道数叠加以及双线性插值方法实现高层语义特征图与低层语义信息特征图融合；对于融合的五个多尺度特征将被表示为c1、c2、c3、c4、c5，融合之前减少c2、c3、c4、c5特征图的通道数以得到新的特征图{m2、m3、m4、m5}：
[0104]
mi＝reduce(ci)
[0105]
通过减少初始的语义特征图通道数，保证用最少的特征图保留缅甸图像特征信息；减少特征图大小的策略是利用通道数为128、大小为1*1卷积核以1的步长进行卷积计算，最终得到的特征图{m2、m3、m4、m5}的通道数都为128；
[0106]
再将m5进行卷积计算得到高层语义特征图p5，基于双线性插值的上采样方法将特征图p5放大到m4大小，将处理之后的结果与特征图m3进行相加操作以得到融合特征图p4,利用同样的方式最终得到融合特征图{p2、p3、p4、p5}，最终将{p3、p4、p5}三种类型的融合特征图上采样到p2大小，再进行通道叠加操作以起到特征增强的作用，得到最终的增强特征图h5。
[0107]
在一种可行的实施方式中，缅甸语图像文本识别模块，具体还用于：
[0108]
将输入的增强特征图h5转换为特征序列：为从缅甸语图像特征中获取具有上下文信息的缅甸语特征向量表示，将增强之后的特征图h4用卷积核大小为1、卷积核数量为128的卷积进行计算，最终得到8*25*128大小三维特征图；将该特征图的第一维和第三维合并1024长度的特征向量，一共有25个，表示为：(f1,f2,
…
,f
t
)，其中t为25；
[0109]
利用bilstm对缅甸语特征序列(f1,f2,
…
,f
t
)进行再次编码，得到具有序列之间上下文信息的向量(h1,h2,
…
,h
t
)，为了将缅甸语特征向量解码成字符，获取每个时刻的向量(h1,h2,
…
,h
t
)的注意力权重分布，将(h1,h2,
…
,h
t
)以注意力权重为权值进行加权求和，将加权得到的向量送入softmax进行分类从而实现字符识别，字符分类总数为缅甸语字符与判断缅甸语文字起始标签的集合；公式如下所示：
[0110]
enconder(m)＝(f1,f2,
…
,f
t
)
[0111]yt
＝softmax(g
t
)
[0112][0113]
其中，y
t
表示t时刻解码器的预测，α
t,j
是由注意力机制生成的权重；
[0114]
将预测结果(y1,y2,
…
,y
t
)进行后处理，删除起始标签go之前以及结束标签eos之后的缅甸语字符，保留下来的缅甸语字符序列就是最终的预测结果。
[0115]
作为本发明的进一步方案，缅甸语图像文本识别模型部署可以为：为保证ocr模型支持批处理操作，首先将模型输入图像的高定义为32，宽的最大值定义为w
max
，对于输入宽度小于w
max
的图像进行白色像素填充，模型批量处理的大小为所输入图像的数量，以此实现模型对输入图像的并行计算，提高识别速度，未进行批次模型部署之前单张图片的识别速度在4秒左右，实现模型批次部署单张图片的识别速度可提升至0.5秒左右，速度能够提升8倍数；将模型保存为“.pth”文件，利用flask技术将模型加载于内存中，避免请求结果带来频繁的模型加载过程，提高识别模型的运行速率；通过flask技术将缅甸语识别模型部署为一个api接口，进而实现web端口多并发请求的功能；在web端通调用部署到服务器端的缅甸语ocr模型，来测试输入的缅甸语图像，进而得到缅甸语图像的识别结果并将其展示到前端界面。
[0116]
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。