本申请涉及计算机,尤其涉及一种表格识别方法、模型预训练方法及模型训练方法。
背景技术:
1、表格利用其独有的结构,规整并传递信息之间的逻辑关系,从而成为信息的重要载体。无论是文本片段还是票据异或其他,只要有表格存在,则表格区域一定是信息量最大、最丰富的区域之一。
2、目前,只能通过ocr(光学字符识别)技术识别出表格中的文本,但是无法识别到表格结构,进而导致还无法准确识别图像中的表格。因此,亟需一种表格识别方法,以准确的识别表格。
技术实现思路
1、本申请提供一种表格识别方法、模型预训练方法及模型训练方法,用以无法准确识别表格的问题。
2、第一方面,本申请提供一种表格识别方法,包括:获取待识别图像,待识别图像包括待识别表格;将待识别图像输入表格识别模型中进行识别,得到待识别表格中单元格在待识别图像中的坐标位置和在待识别表格中的行列位置,表格识别模型是通过在预训练后的表格识别模型的基础上训练得到的。
3、第二方面,本申请提供一种模型预训练方法,包括:获取样本图像,样本图像中包含表格;将样本图像输入表格识别模型的编码器进行特征提取,得到图像特征;将图像特征输入表格识别模型的第一解码器进行视觉特征预测,得到预测图像;将图像特征输入表格识别模型的第二解码器进行文本关系预测,得到表格中文本之间的预测行列关系;根据样本图像、预测图像、预测行列关系和表格中文本之间的标签行列关系,调整表格识别模型的模型参数,在满足预设预训练要求的情况下,得到预训练完成的表格识别模型。
4、第三方面,本申请提供一种模型训练方法,包括:获取样本图像,样本图像中包含表格;调用预训练得到的表格识别模型,并采用样本图像对表格识别模型进行微调训练,得到训练完成的表格识别模型。
5、第四方面,本申请提供一种表格识别系统,包括:
6、终端设备,用于获取待识别图像,并向云端设备发送待识别图像,待识别图像包括待识别表格;
7、云端设备,用于将待识别图像输入表格识别模型中进行识别,得到待识别表格中单元格在待识别图像中的坐标位置和在待识别表格中的行列位置,表格识别模型是通过在预训练后的表格识别模型的基础上训练得到的;
8、云端设备,还用于向终端设备发送待识别图像中的坐标位置和在待识别表格中的行列位置。
9、第五方面,本申请提供一种云服务器,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使云服务器执行前述第一方面、第二方面或第三方面的方法。
10、第六方面,本申请提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,当处理器执行计算机执行指令时,实现如第一方面、第二方面或第三方面的方法。
11、本申请提供的表格识别方法、模型预训练方法及模型训练方法,通过获取待识别图像,待识别图像包括待识别表格;将待识别图像输入表格识别模型中进行识别,得到待识别表格中单元格在待识别图像中的坐标位置和在待识别表格中的行列位置,表格识别模型是通过在预训练后的表格识别模型的基础上训练得到的,以实现对表格结构以及表格中内容的准确识别。
1.一种表格识别方法,其特征在于,包括:
2.根据权利要求1所述的表格识别方法,其特征在于,所述将所述待识别图像输入表格识别模型中进行识别,得到所述待识别表格中单元格在所述待识别图像中的坐标位置和在所述待识别表格中的行列位置之后,还包括:
3.根据权利要求2所述的表格识别方法,其特征在于,所述在所述可编辑表格中填充所述文本信息,得到目标表格之后,还包括:
4.根据权利要求2所述的表格识别方法,其特征在于,所述在所述可编辑表格中填充所述文本信息,得到目标表格之后,还包括:
5.根据权利要求2所述的表格识别方法,其特征在于,所述在所述可编辑表格中填充所述文本信息,得到目标表格之后,还包括:
6.一种模型预训练方法,其特征在于,包括:
7.根据权利要求6所述的模型预训练方法,其特征在于,所述表格识别模型包括所述编码器、所述第一解码器和所述第二解码器,所述编码器的输出为所述第一解码器和所述第二解码器的输入。
8.根据权利要求6所述的模型预训练方法,其特征在于,所述图像特征包括:多个子特征,所述将所述样本图像输入表格识别模型的编码器进行特征提取,得到图像特征之前,还包括:
9.根据权利要求8所述的模型预训练方法,其特征在于,所述将所述图像特征输入所述表格识别模型的第一解码器进行视觉特征预测,得到预测图像,包括:
10.根据权利要求9所述的模型预训练方法,其特征在于,所述方法还包括:
11.根据权利要求6至10中任一项所述的模型预训练方法,其特征在于,所述根据所述样本图像、所述预测图像、所述预测行列关系和所述表格中文本之间的标签行列关系调整所述表格识别模型的模型参数,包括:
12.一种模型训练方法,其特征在于,包括:
13.一种表格识别系统,其特征在于,包括:
14.一种云服务器,其特征在于,包括:
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如权利要求1-11中任一项所述的方法。
