一种纸质作业拍照批改的方法与流程

一种纸质作业拍照批改的方法
【技术领域】
1.本发明涉及智能教学领域，尤其涉及一种纸质作业拍照批改方法。


背景技术：

2.智能化教育技术已经广泛应用于不同模式的知识教授和课程学习中，例如在教、学、练、评、测场景下得到了相应的应用。
3.国内现有的基础教育、学生学习状况的主要考察形式仍然是各种类型的考试和测试。教师不仅背负着很大的批改作业的工作压力，学生的结果得不到及时反馈，而且学生成绩的统计工作异常繁琐且很难做到精准评价。
4.目前，智能终端类产品有许多搜题的app，和拍照批改的app。只需要将包含题目的图片输入搜题或自动批改的app，就能搜到或批改与图片中的各个题目相对应的题目。
5.然而现在市面上搜题目的app基本能搜到各个学科的题目，搜题app只能支持搜到各学科题目的答案，无法做到智能批改；而市面上拍照批改app 目前最多支持到小学数学题型，对于其他学段、学科的题型支持，技术还未达到。综上所述，现有拍照批改技术无法覆盖全学段、全学科题型，未能做到为老师全面减负。


技术实现要素：

6.针对现有技术存在的缺陷，本发明提供一种学生纸质作业拍照批改方法，该方法既能解决拍照批改问题，还能针对各个学段、学科题型进行批改，具有应用广泛性。
7.为解决上述技术问题，本发明提供一种纸质作业拍照批改方法，包括以下步骤：
8.步骤s1.照片处理：对纸质作业本的待批改页面照片依次进行高斯滤波去躁、锐化去雾和动态直方图均衡化处理光照平衡处理；其中，该纸质作业本由专业的老师为作业本编题组题等内容设计和排版设计，以增加识别成功率，同时作业本的题目已经被收录到题库中；
9.步骤s2.页码判别：以每节课时为单位进行提交经照片处理后的待批改页面照片，并获取当前待批改页面照片的页码，以便进行下一步与模板数据进行对照批改；
10.步骤s3.对齐操作：首先通过提取当前待批改页面照片和作业本对应页码图片的特征点，并对当前待批改页面照片和作业本对应页码图片的特征点集进行匹配，得到最优匹配点，然后利用仿射变换/透视变换等优化当前待批改页面照片和作业本对应页码图片之间的对应关系，从而求得变换参数，最后利用最优化参数，将当前待批改页面照片变形为与作业本对应页码图片同样的空间布局或将作业本对应页码图片变形为与当前待批改页面照片同样的空间布局，从而实现图片识别；
11.步骤s4.图片识别及答案批改：首先根据获取的当前待批改页面照片的页码，调取收录在题库中相应作业的模板数据，然后通过模板数据中的关键字去当前待批改页面照片各道题目的识别结果中查询，若有匹配结果视为作答正确，若无匹配结果视为作答错误。
12.进一步地，在所述步骤s2中，获取当前待批改页面照片的页码主要使用图像特征
点进行当前待批改页面照片和从收录在题库中作业本的模板图片进行相似度计算，得到与当前照片最相似的模板图片，并从得到的模板图片携带的序号信息，得到当前待批改页面照片的页码。
13.进一步地，所述获取当前待批改页面照片的页码，具体步骤包括：
14.步骤s201.使用orb算法进行特征点提取，分别从当前待批改页面照片和进行相似度计算的模板图片中查找出n个特征点；
15.步骤s202.采用特征向量匹配算法进行当前待批改页面照片和模板图片的特征点向量匹配，以获取所有的匹配点；
16.步骤s203.在获取所有的匹配点后，对不符合要求的匹配点进行删除, 具体为，删除掉匹配点的欧氏距离大于最大欧氏距离的一半的所有匹配点；
17.步骤s204.依赖筛选后的匹配点进行当前待批改页面照片和模板图片的相似度计算，计算方法为：将所有的匹配点按照欧氏距离进行从小到大的排序，再将列表中每个匹配点的欧氏距离乘以索引求和，得到的值作为当前待批改页面照片与模板图片的相似度；
18.步骤s205.将当前待批改页面照片与所有的模板图片的相似度从小到大排序，并取第一个相似度的模板图片作为当前待批改页面照片最为相似的模板图片；
19.步骤s206.将当前待批改页面照片的特征点信息和最为相似的模板图片的特征点信息一并保存，以进行后续步骤的对齐操作。
20.进一步地，所述步骤s2和步骤s3中在得到当前待批改页面照片和模板图片的匹配点之后还进行下列操作：
21.步骤s301.使用opencv内置算法中的cv2.findhomography计算出当前待批改页面照片和模板图片的单应矩阵h，其中在cv2.findhomography的计算过程中，参数选择cv_ransac，即基于ransac的鲁棒方法；
22.步骤s302.在计算出单应矩阵h之后，运用图像的透视变换算法将当前待批改页面照片对齐到模板图片，得到与模板图片尺度特征及其近似的目标图片；若当前待批改页面照片与模板图片不匹配时，得到的目标图片为不可用照片。
23.进一步地，在步骤s4的通过模板数据中的关键字去当前待批改页面照片各道题目的识别结果中查询之前，按照提前做好的模板数据中的题目区域数据对当前待批改页面照片中的每道题目进行切分。
24.进一步地，所述模板数据是在对作业本识别过程中需要先做好每页作业的模板数据，并收录在题库中，包含以下几个部分：
25.(1)包含该页作业主体内容的模板图片；
26.(2)模板数据组，包含有：
27.‑
该页作业的每道题目的题目区域，用一个红色矩形框表示，该矩形框有左上角坐标和宽高属性；
28.‑
每道题目下每个作答区域，用一个蓝色矩形框表示，该矩形框有左上角坐标和宽高属性；
29.‑
每个答案需要一组关键字作为匹配依据；
30.‑
答案类别属性，包括普通识别和大于小于等于，以使答案能够使用到了机器学习中的图片分类算法去进行结果匹配；
31.(3)将模板数据、模板图片与所对应的作业本对应保存到数据库，且每条数据对应道具体课时作业的具体页序。
32.进一步地，所述模板数据使用winform制作，具体步骤如下：
33.步骤s101.对作业本的设计图进行预处理；
34.步骤s102.将步骤s101得到的设计图的图片进行类型转换，以便于显示到picturebox组件中；
35.步骤s103.对题目区域和该题目下答案区域的标注；
36.步骤s104.将以上步骤制作的数据序列化为json数据；
37.步骤s105.将制作的每条数据保存到数据库中，每条数据包含以下必备内容：(1)作业本id，每份作业一个id，作业需要提前在平台组好；(2) 该页作业在本课时作业中的图片序号，一般为1～5；(3)模板图片的位置链接(模板图片在保存数据之前需要上传到指定服务器)；(4)模板数据；(5) 创建人及创建时间。
38.进一步地，所述步骤s101具体包括以下步骤：(1)每本作业为一个pdf 文件，并对该pdf文件进行切分；(2)对切分后的每页图片再进行左右均匀切分；(3)通过每页作业的主体内容限制框线提取出主体内容。
39.进一步地，所述“通过每页作业的主体内容限制框线提取出主体内容”具体为，使用opencvsharp对原始图片从读取
‑‑
灰度图
‑‑
二值化
‑‑
轮廓提取
ꢀ‑‑
轮廓筛选
‑‑
透视变换
‑‑
主体区域裁剪，最终得到mat类型的图片。
40.进一步地，所述步骤s103具体为，利用winform强大的事件功能，借助 graphics实现可视化绘制功能，便于进行题目区域的标注和答案区域的标注；所述标注步骤包括：(1)题目区域标注；(2)该题目下答案区域的标注：对标注的每个答案区域进行**关键短语**的设定，该步骤以标准答案内容为主；对于**普通识别**以外的答案识别，需要进行类型设定，需要注意的是答案类型默认为普通识别。
41.本发明主要具有以下有益效果：
42.本发明通过上述技术方案，既能解决拍照批改问题，还能针对各个学段、学科题型进行批改，具有应用广泛性。
43.【说明书附图】
44.图1是本发明纸质作业拍照批改方法的流程示意图；
45.图2是本发明制作作业模板数据的方法的流程示意图；
46.图3是本发明纸质作业拍照批改方法实施例的原理示意图。
【具体实施方式】
47.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
48.如图1所示，本发明所述的纸质作业拍照批改方法，包括：
49.步骤s100.照片处理。不同app智能终端设备的拍照成像质量不同和用户拍照的环境(光照、倾斜度等)往往会造成图片质量较差，为改进图片质量，后续更好的进行拍照识别，需要先对当前待批改页面照片进行处理。照片处理包括以下步骤：(1)高斯滤波去躁；
(2)锐化去雾；(3)动态直方图均衡化处理光照平衡。
50.步骤s200.页码判别。为增加识别成功率，采用纸质作业本定制方法，由专业的老师为作业本编题组题等内容设计和排版设计，而作业本的题目已经被收录到题库中。由于作业本以每节课时为单位进行提交，而每个课时作业页数为2
‑
5页，所以在进行作业批改之前要先进行当前待批改页面照片的页码获取，以进行下一步与模板数据进行对照批改；其中，页码判别方式：该步骤主要使用图像特征点进行当前待批改页面照片和模板图片的相似度计算，从2
‑
5页模板图片中得到与当前待批改页面照片最相似的模板图片，因模板图片携带有序号信息，所以得到了当前待批改页面照片的序号；具体步骤包括：
51.步骤s201.特征点提取——特征点提取使用orb算法，该算法为opencv的内置算法。分别从当前待批改页面照片和进行相似度计算的模板图片中查找出10000个特征点；
52.步骤s202.特征向量匹配。用特征向量匹配算法进行两张图片(当前待批改页面照片和模板图片)的特征点向量匹配`cv2.descriptormatcher_create(cv2.descriptor_matcher_bruteforce_hamming)`；
53.步骤s203.不符合要求的匹配点删除——在拿到所有的匹配点后，进行一些不符合要求的匹配点的删除，此处运用的方法是：删除掉匹配点的欧氏距离大于最大欧氏距离的一半的所有匹配点；
54.步骤s204.相似度计算——依赖筛选后的匹配点进行两张图片的相似度计算，计算方法为：将所有的匹配点按照欧氏距离进行从小到大的排序，再将列表中每个匹配点的欧氏距离乘以索引求和，得到的值即可作为该当前待批改页面照片的相似度；
55.步骤s205.挑选相似最高的图片——得到当前待批改页面照片与所有模板图片的相似度后，进行从小到大的排序之后取第一个，得到的模板图片即为与当前待批改页面照片最为相似的模板图片；
56.步骤s206.保存——在上面的计算图像相似度的过程中，将当前照片的特征点信息和所对应的模板图片的特征点信息一并保存，以进行后续步骤中进行照片的图像对齐。
57.步骤s300.对齐操作。图片对齐是通过提取两幅图像各自的特征点，对两幅图像的特征点集进行匹配，得到最优匹配点，再利用仿射变换/透视变换等优化两幅图像之间的对应关系，从而求得变换参数，最终可利用最优化参数，将其中一幅图像变形为与另外一幅图像同样的空间布局，从而可实现图片识别的目的。
58.步骤s400.图片识别及答案批改。该步骤技术依赖于下面两项：(1)提前做好了相应作业的模板数据，模板数据的原理为使用关键字去该道题目的识别结果中查询，若有匹配结果视为作答正确；(2)该步骤需要对每道题目进行切分，也是依赖于提前做好的模板数据中的题目区域数据。
59.本发明所述的模板数据主要包含以下几个部分：
60.(1)只包含该页作业主体内容的模板图片
61.(2)模板数据组，该模板数据组包括：
62.‑
该页作业的每道题目的题目区域，用一个红色矩形框表示，该矩形框有左上角坐标和宽高属性；
63.‑
每道题目下每个作答区域，用一个蓝色矩形框表示，该矩形框有左上角坐标和宽高属性；
64.‑
每个答案需要一组关键字作为匹配依据，关键字由数据制作者根据标准答案给出，需要注意的是该步骤自主性较大，且需要依据上下文具体内容以及是否会有重复答案等情况具体分析给出结论；
65.‑
部分类型的答案由于使用到了机器学习中的图片分类算法去进行结果匹配，因此答案也具有一个类别属性，目前答案只有两种属性：普通识别 (即使用关键字从整道题目的识别结果中匹配)和大小等于(判断大于小于等于的题目，进行答案图片分类)；
66.(3)将模板数据、模板图片与所对应的作业本对应保存到数据库，每条数据对应道具体课时作业的具体页序。
67.本发明所述模板数据采用使用winform制作，如图2所示，具体包括如下步骤：
68.步骤s101.作业本的设计图进行预处理。预处理步骤如下：(1)每本作业为一个pdf文件(该pdf文件大小为800mb
‑
1.2gb)，需要使用工具内置功能将该pdf文件进行切分；(2)对切分后的每页图片再进行左右均匀切分；(3) 通过每页作业的主体内容限制框线提取出主体内容，该步骤使用 opencvsharp，原始图片从读取
‑‑
灰度图
‑‑
二值化
‑‑
轮廓提取
‑‑
轮廓筛选
‑‑ꢀ
透视变换(可省去)
‑‑
主体区域裁剪，最终得到`mat`类型的图片
69.步骤s102.将上一步得到的图片进行类型转换，以便于显示到 picturebox组件中；
70.步骤s103.题目区域和该题目下答案区域的标注。利用winform强大的事件功能，借助graphics实现可视化绘制功能，便于进行题目区域的标注和答案区域的标注；标注步骤包括：(1)题目区域标注；(2)该题目下答案区域的标注：对标注的每个答案区域进行**关键短语**的设定，该步骤以标准答案内容为主；对于**普通识别**以外的答案识别，需要进行类型设定，需要注意的是答案类型默认为普通识别；
71.步骤s104.将以上步骤制作的数据序列化为json数据；
72.步骤s105.将制作的每条数据保存到数据库中，每条数据包含以下必备内容：(1)作业本id，每份作业一个id，作业需要提前在平台组好；(2) 该页作业在本课时作业中的图片序号，一般为1～5；(3)模板图片的位置链接(模板图片在保存数据之前需要上传到指定服务器)；(4)模板数据；(5) 创建人及创建时间。
73.需要说明的是，数据可以从数据库再次加载，需要制定具体的作业本及图片序号，加载后可以预览；加载的数据可以被修改，修改之后保存，会覆盖旧数据；工具可以视具体需求进行功能增添和改进。
74.与现有拍照批改方法相比，本发明是多种技术的综合运用，应用性更强，该方法既能解决拍照批改问题，还能针对各个学段、学科题型进行批改，具有应用广泛性；相应于上述针对各种题型的拍照批改方法实施例，为了提高批改准确率，本发明提供了一种制作作业模板数据的工具。
75.此外，在所述步骤s3中，在步骤s2中得到当前待批改页面照片与对应模板图片的匹配点之后进行下列操作，以便前待批改页面照片与模板图片的对齐，提高图片识别的效率和准确率；
76.步骤s301.使用opencv内置算法cv2.findhomography计算出两张图片的单应矩阵h；其中在cv2.findhomography的计算过程中，参数选择 cv_ransac，即基于ransac的鲁棒方法；
77.步骤s302.得到单应矩阵h之后，运用图像的透视变换算法将当前待批改页面照片对齐到模板图片，即得到与模板图片尺度特征及其近似的目标图片。在图像的对齐操作过程中具有一定的失败风险，当当前待批改页面照片与模板图片不匹配时得到的对齐照片(目标图片)为不可用照片；引发的具体原因有：(1)图片序号判别错误，拿到了错误的模板图片；(2)提交的作业照片不属于本课时，或者该张作业照片所对应的模板图片在本课时的所有模板图片中都不存在。
78.以下通过具体例子对本发明所述的纸质作业拍照批改方法做进一步说明。
79.如图3所示，以智能终端(平板或手机)app为例，分为教师端和学生端。前置条件说明：(1)老师用定制的作业本布置作业，学生用定制的作业本写作业并在相应课时作业任务中拍照上传；(2)云端已经有了定制的纸质作业本对应的电子作业本，并且所有题目已经存在于题库中；(3)定制的纸质作业本对应的电子作业本的题目区域和答案区域已经标注完成。
80.用户操作步骤如下：
81.步骤s1
‑
1.老师布置作业。老师在app中选择纸质作业本对应的电子作业去布置。针对于某章节课时，老师可以选择一份题去布置，也可以选择某几道题去布置，根据教学情况，给老师最大的灵活性。
82.步骤s1
‑
2.学生提交作业。学生在app端收到某课时作业信息后，在纸质作业本上对应课时开始作答。作答完成后，打开app，在对应课时拍照提交作业。
83.步骤s1
‑
3.学生查看系统作业批改情况。学生在上一步提交作业之后，已经得到系统批改作业的初步情况了。
84.步骤s1
‑
4.老师检查作业。在这一步，老师需要做的是检查系统批改的是否正确，并进行修正，这就大大减少了老师的批改时间，真正为老师做到了减负。
85.以上所述实施例只是为本发明的较佳实施例，并非以此限制本发明的实施范围，除了具体实施例中列举的情况外；凡依本发明之方法及原理所作的等效变化，均应涵盖于本发明的保护范围内。