本公开涉及人工智能领域,尤其涉及一种错字识别模型训练方法、错字识别方法及装置。
背景技术:
1、手写体ocr(optical character recognition,光学字符识别)技术在智能教育领域广泛应用,如作文批改、听写批改等应用。错别字识别一直是手写体ocr技术的一个重点技术攻关领域。
2、由于文字识别是基于现有词库给出预测结果,如果用户书写的错字并不存在于字典中(如不是一个汉字,如“你”字少一个点),ocr将会返回结构最接近这个错字的汉字作为预测结果(即“你”字)且其预测的置信度会远大于其他汉字(因为“你”字与这个错字的相似度远大于其他字)。这使得错误的手写文字被误识别成正确文字,错字识别准确度较低。
技术实现思路
1、有鉴于此,本公开实施例提供了一种错字识别模型训练方法、错字识别方法及装置,以提高错字识别准确度。
2、根据本公开的一方面,提供了一种错字识别模型训练方法,所述方法包括:
3、基于第一训练集对待训练的识别模型进行训练,得到第一识别模型;其中,所述第一训练集中的训练数据包括各文字对应的印刷体图像及各所述印刷体图像对应的笔画序列;所述笔画序列用于标识各所述印刷体图像对应的文字中包含的笔画;
4、基于第二训练集对所述第一识别模型进行训练,得到第二识别模型;所述第二训练集中包括各文字对应的第一手写体图像及各所述第一手写体图像对应的笔画序列;
5、将所述第二识别模型迁移至预设分类模型中,得到待训练的错字识别模型;
6、基于第三训练集对所述待训练的错字识别模型进行训练,得到目标错字识别模型;所述第三训练集中包括各文字对应的第二手写体图像及其对应的标签;所述标签用于标识所述第二手写体图像中包含的文字是否书写正确。
7、根据本公开的另一方面,提供了一种错字识别方法,所述方法包括:
8、获取目标图像;
9、将所述目标图像输入至预先训练的目标错字识别模型中;
10、获取所述目标错字识别模型输出的识别结果;
11、其中,所述目标错字识别模型为如上述错字识别模型训练方法训练得到的。
12、根据本公开的另一方面,提供了一种错字识别模型训练装置,所述装置包括:
13、第一训练模块,用于基于第一训练集对待训练的识别模型进行训练,得到第一识别模型;其中,所述第一训练集中的训练数据包括各文字对应的印刷体图像及各所述印刷体图像对应的笔画序列;所述笔画序列用于标识各所述印刷体图像对应的文字中包含的笔画;
14、第二训练模块,用于基于第二训练集对所述第一识别模型进行训练,得到第二识别模型;所述第二训练集中包括各文字对应的第一手写体图像及各所述第一手写体图像对应的笔画序列;
15、迁移模块,用于将所述第二识别模型迁移至预设分类模型中,得到待训练的错字识别模型;
16、第三训练模块,用于基于第三训练集对所述待训练的错字识别模型进行训练,得到目标错字识别模型;所述第三训练集中包括各文字对应的第二手写体图像及其对应的标签;所述标签用于标识所述第二手写体图像中包含的文字是否书写正确。
17、根据本公开的另一方面,提供了一种错字识别装置,所述装置包括:
18、获取模块,用于获取目标图像;
19、输入模块,用于将所述目标图像输入至预先训练的目标错字识别模型中;
20、输出模块,用于获取所述目标错字识别模型输出的识别结果;
21、其中,所述目标错字识别模型预先通过以下步骤训练:
22、基于第一训练集对待训练的识别模型进行训练,得到第一识别模型;其中,所述第一训练集中的训练数据包括各文字对应的印刷体图像及各所述印刷体图像对应的笔画序列;所述笔画序列用于标识各所述印刷体图像对应的文字中包含的笔画;
23、基于第二训练集对所述第一识别模型进行训练,得到第二识别模型;所述第二训练集中包括各文字对应的第一手写体图像及各所述第一手写体图像对应的笔画序列;
24、将所述第二识别模型迁移至预设分类模型中,得到待训练的错字识别模型;
25、基于第三训练集对所述待训练的错字识别模型进行训练,得到目标错字识别模型;所述第三训练集中包括各文字对应的第二手写体图像及其对应的标签;所述标签用于标识所述第二手写体图像中包含的文字是否书写正确。
26、根据本公开的另一方面,提供了一种电子设备,包括:
27、处理器;以及
28、存储程序的存储器,
29、其中,所述程序包括指令,所述指令在由所述处理器执行时使所述处理器执行上述任一所述的错字识别模型训练方法或错字识别方法。
30、根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行上述任一所述的错字识别模型训练方法或错字识别方法。
31、根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,其中,所述计算机程序在被处理器执行时实现上述任一所述的错字识别模型训练方法或错字识别方法。
32、本公开实施例中提供的一个或多个技术方案,通过基于文字图像及笔画序列对模型进行训练,使得模型能更好地学习文字的笔画特征,对笔画的缺失、冗余等有更好的识别性能,再有,通过基于文字的手写体图像对模型进行训练,使得模型学习到了手写文字的笔画特征,在面对手写文字识别时,有更好的错字识别准确度。
1.一种错字识别模型训练方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述待训练的识别模型中包括图像特征提取子网络以及文本特征提取子网络;
3.根据权利要求1所述的方法,其特征在于,所述待训练的识别模型中包括图像编码器以及文本编码器:
4.根据权利要求1所述的方法,其特征在于,所述待训练的错字识别模型中包括图像编码器以及分类层。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
7.一种错字识别方法,其特征在于,所述方法包括:
8.一种错字识别模型训练装置,其特征在于,所述装置包括:
9.一种错字识别装置,其特征在于,所述装置包括:
10.一种电子设备,包括:
11.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-6或7中任一项所述的方法。
12.一种计算机程序产品,包括计算机程序,其中,所述计算机程序在被处理器执行时实现权利要求1-6或7中任一项所述的方法。