本发明涉及课堂教学难点分析领域,尤其涉及一种注意力分析的课堂教学难点分析方法与系统。
背景技术:
1、随着信息技术的飞速发展和智能设备的普及,学生在课堂上的学习行为和认知状态可以得到更为精确的记录和分析。通过监测学生的注意力情况,教育者能够深入了解学生的学习进程,从而更好地指导教学实践。同时,大数据分析技术的应用也为注意力分析提供了强大的支持,使得教育者可以更加科学地评估学生的学习状态,并据此进行个性化教学和课堂教学难点分析。目前的注意力分析研究主要集中在使用传感器、眼动仪或者智能设备等手段对学生的注意力进行监测和分析。然而,这些方法存在一定的局限性,比如设备成本较高、对学生隐私的侵犯等。针对该问题,本方案提出一种注意力分析的课堂教学难点分析方法,通过人工智能和大数据分析,深入挖掘学生在课堂上的注意力特点,探索更为有效的课堂教学难点分析方法,为教育教学改进和个性化教育提供更为有力的支持。
技术实现思路
1、有鉴于此,本发明提供一种注意力分析的课堂教学难点分析方法,目的在于:1)采集面部表情图像数据并进行学生表情标注,基于标注后的数据对面部表情分类模型进行训练,在训练过程中,基于真实标注结果以及模型输出的面部表情分类结果之间的差值构建目标函数,结合目标函数梯度的一阶矩以及二阶矩对模型参数向量进行迭代,得到用于面部表情分类的模型,其中面部表情分类模型对面部表情图像数据进行分块以及结合位置信息的编码处理,并对编码处理结果进行结合注意力机制的感知处理,得到表征学生当前注意力状态的感知信息,实现不同课堂教学时刻中学生专注表情以及困惑表情的分类处理,得到学生在课堂教学过程中的表情分类结果序列;2)基于学生出现困惑表情的课堂教学时刻,对每一名学生的表情分类结果序列进行难点定位,将标记难点时刻的序列作为学生在课堂教学过程中的难点时间戳,结合不同学生相同的难点时刻比例以及非线性距离,进行不同学生难点时间戳的距离计算,进而对全体学生的难点时间戳进行聚类,得到多个聚类簇,提取超过预置难点时间戳数量的聚类簇,将提取聚类簇所对应的课堂教学内容作为该聚类簇中所有学生的课堂教学难点,实现不同类别学生的课堂教学难点分析以及提取处理。
2、为实现上述目的,本发明提供的一种注意力分析的课堂教学难点分析方法,包括以下步骤:
3、s1:在真实的教室环境中使用摄像头采集学生的面部表情图像数据,并对采集到的面部表情图像数据进行标注,构成面部表情分类训练数据集;
4、s2:构建面部表情分类模型,并基于面部表情分类训练数据集对面部表情分类模型进行训练,所述面部表情分类模型以学生的面部表情图像数据为输入,以学生的面部表情分类结果为输出;
5、s3:采集学生在课堂教学过程中的面部表情图像数据序列,并利用面部表情分类模型对面部表情图像数据序列进行分类,得到学生在课堂教学过程中的表情分类结果序列;
6、s4:对每一名学生的表情分类结果序列进行难点定位,得到学生在课堂教学过程中的难点时间戳;
7、s5:对全体学生的难点时间戳进行聚类,得到多个聚类簇,提取超过预置难点时间戳数量的聚类簇,将提取聚类簇所对应的课堂教学内容作为该聚类簇中所有学生的课堂教学难点。
8、作为本发明的进一步改进方法:
9、可选地,所述s1步骤中在真实的教室环境中使用摄像头采集学生的面部表情图像数据,并对采集到的面部表情图像数据进行标注,包括:
10、在真实的教室环境中使用摄像头采集学生的面部表情图像,并对所采集面部表情图像进行多颜色通道的像素矩阵分离处理,构成面部表情图像数据,其中所采集的面部表情图像数据集合为:
11、
12、其中:
13、 表示所采集的第n个面部表情图像所构成的面部表情图像数据,n表示所采集面部表情图像数据的总数;
14、表示所采集第n个面部表情图像在颜色通道分别对应的像素矩阵,其中像素矩阵为x行y列的矩阵形式,表示第n个面部表情图像中第x行第y列像素分别在颜色通道的颜色值,x表示所采集面部表情图像的像素行数,y表示所采集面部表情图像的像素列数;
15、对采集到的面部表情图像数据进行标注,其中面部表情图像数据的标注结果为面部表情图像数据所对应面部表情图像的表情类别,所述表情类别包括专注以及困惑,将标注后的面部表情图像数据构成面部表情分类训练数据集。
16、可选地,所述将标注后的面部表情图像数据构成面部表情分类训练数据集,包括:
17、所构成面部表情分类训练数据集为:
18、其中:
19、表示面部表情分类训练数据集;
20、表示面部表情图像数据的标注结果,其中标注结果分为1、0,表示面部表情图像数据所对应面部表情图像的表情类别为专注,表示面部表情图像数据所对应面部表情图像的表情类别为困惑。
21、可选地,所述s2步骤中构建面部表情分类模型,包括:
22、构建面部表情分类模型,所述面部表情分类模型以学生的面部表情图像数据为输入,以学生的面部表情分类结果为输出,其中面部表情分类模型包括输入层、图像分块层、编码层、感知层以及输出层;
23、输入层用于接收学生的面部表情图像数据;
24、图像分块层用于对面部表情图像数据进行分块处理,得到面部表情图像数据块序列;
25、编码层用于对面部表情图像数据块序列进行结合位置信息的编码处理,得到面部表情编码向量;
26、感知层用于结合注意力机制以及感知计算的方式对面部表情编码向量进行感知,得到学生的面部表情感知向量;
27、输出层用于对面部表情感知向量进行向量映射,得到面部表情图像数据所对应学生的面部表情分类结果;
28、基于面部表情分类训练数据集对面部表情分类模型进行训练。
29、可选地,所述对面部表情分类模型进行训练,包括:
30、基于面部表情分类训练数据集data对面部表情分类模型进行训练的训练流程为:
31、s21:初始化生成面部表情分类模型的模型参数向量,其中模型参数向量中包括编码层的编码矩阵以及输出层的连接矩阵;
32、s22:设置模型参数向量的当前迭代次数为u,最大迭代次数为max,u的初始值为0,则模型参数向量的第u次迭代结果为;
33、s23:构建面部表情分类模型的训练目标函数,其中训练目标函数的输入为模型参数向量以及面部表情分类训练数据集data,所构建的训练目标函数为:
34、
35、其中:
36、表示所构建的训练目标函数,表示训练目标函数的输入值,即模型参数向量;
37、表示将面部表情图像数据作为基于构建的面部表情分类模型中,模型输出的面部表情分类结果;
38、s24:将模型参数向量作为训练目标函数的输入值,计算训练目标函数所对应的梯度;在本发明实施例中,梯度的计算方式为以为变量对训练目标函数进行求偏导处理,并将模型参数向量代入变量;
39、s25:计算得到模型参数向量的一阶矩:
40、
41、其中:
42、表示模型参数向量的一阶矩;
43、表示一阶矩的衰减系数,将设置为0.9;
44、s26:计算得到模型参数向量的二阶矩:
45、
46、其中:
47、表示模型参数向量的二阶矩;
48、表示二阶矩的衰减系数,将设置为0.92;
49、s27:对一阶矩以及二阶矩进行权重衰减:
50、
51、
52、其中:
53、表示一阶矩的权重衰减结果;
54、表示二阶矩的权重衰减结果;
55、s28:对模型参数向量进行迭代,其中迭代公式为:
56、
57、其中:
58、表示迭代控制参数,将设置为0.01;
59、s29:令u=u+1,返回步骤s24,直到达到最大迭代次数,并利用构建面部表情分类模型。
60、可选地,所述s3步骤中采集学生在课堂教学过程中的面部表情图像数据序列,并利用面部表情分类模型对面部表情图像数据序列进行分类,包括:
61、采集学生在课堂教学过程中的面部表情图像数据序列,得到每一名学生的面部表情图像数据序列并构成集合:
62、
63、其中:
64、表示课堂教学过程中第m名学生的面部表情图像数据序列,t表示时序信息,表示h个课堂教学时刻,m表示课堂教学过程中学生的总数;
65、表示课堂教学过程中第m名学生在h个课堂教学时刻的面部表情图像数据,表示课堂教学过程中第m名学生在第h个课堂教学时刻的面部表情图像数据,;
66、利用步骤s2训练得到的面部表情分类模型接收面部表情图像数据序列中的任意面部表情图像数据并进行分类,得到每一名学生的表情分类结果序列,其中面部表情图像数据的分类流程为:
67、s31:输入层接收面部表情图像数据;
68、s32:图像分块层对面部表情图像数据进行分块处理,得到面部表情图像数据块序列:
69、
70、
71、其中:
72、表示分块得到的第s个面部表情图像数据块,s表示分块得到的面部表情图像数据块总数,依次对应在颜色通道的像素矩阵;
73、s33:编码层对面部表情图像数据块序列进行结合位置信息的编码处理,得到面部表情编码向量:
74、
75、其中:
76、表示面部表情编码向量;
77、表示面部表情图像数据块的编码处理结果;
78、表示面部表情图像数据块在面部表情图像数据中的行位置与列位置之和,其中行位置为面部表情图像数据块在面部表情图像数据的水平方向图像数据块位次,列位置为面部表情图像数据块在面部表情图像数据的竖直方向图像数据块位次;
79、为rgb颜色通道的编码矩阵;
80、表示卷积处理;
81、s34:感知层结合注意力机制以及感知计算的方式对面部表情编码向量进行感知,得到课堂教学过程中第m名学生在第h个课堂教学时刻的面部表情感知向量:
82、
83、其中:
84、表示以自然常数为底的指数函数;
85、表示编码处理结果对应的感知信息;
86、s35:输出层对面部表情感知向量进行向量映射,得到课堂教学过程中第m名学生在第h个课堂教学时刻的面部表情分类结果:
87、
88、其中:
89、w表示输出层中的连接矩阵,表示l1范数,表示预设的特征阈值;
90、表示课堂教学过程中第m名学生在第h个课堂教学时刻的面部表情分类结果,则表示为专注表情,则表示为困惑表情。
91、可选地,所述s4步骤中对每一名学生的表情分类结果序列进行难点定位,包括:
92、获取m名学生的表情分类结果序列并构成集合:
93、
94、其中:
95、表示第m名学生的表情分类结果序列;
96、表示课堂教学过程中第m名学生在第h个课堂教学时刻的面部表情分类结果;
97、对每一名学生的表情分类结果序列进行难点定位,得到每名学生的难点时间戳,其中表情分类结果序列的难点时间戳计算流程为:
98、s41:遍历得到表情分类结果序列中困惑表情所处的课堂教学时刻;
99、s42:计算遍历得到的任意课堂教学时刻到另一个困惑表情所处课堂教学时刻之间的时间间隔,若该时间间隔小于预设阈值,则将两个课堂教学时刻之间的所有课堂教学时刻均标记为难点时刻;
100、s43:重复步骤s42,得到第m名学生的难点时间戳:
101、
102、其中:
103、表示第m名学生的难点时间戳;
104、表示课堂教学过程中第h个课堂教学时刻为第m名学生的难点时刻,表示课堂教学过程中第h个课堂教学时刻不为第m名学生的难点时刻。
105、可选地,所述s5步骤中对全体学生的难点时间戳进行聚类,得到多个聚类簇,提取超过预置难点时间戳数量的聚类簇,将所对应的课堂教学内容作为该聚类簇中所有学生的课堂教学难点,包括:
106、对全体学生的难点时间戳进行聚类,得到多个聚类簇,其中难点时间戳的聚类流程为:
107、s51:计算得到任意两名学生之间的难点时间戳距离,其中第m名学生与第q名学生之间的难点时间戳距离为:
108、
109、
110、
111、其中:
112、表示尺度因子,将设置为1;
113、表示l2范数;
114、表示之间同为难点时刻的课堂教学时刻数目,则表示课堂教学过程中第h个课堂教学时刻为第m名学生与第q名学生的难点时刻,;
115、s52:随机选取k个学生的难点时间戳作为初始聚类中心,每个聚类中心对应一个聚类簇;
116、s53:计算非聚类中心所对应难点时间戳到聚类中心的距离,将非聚类中心所对应难点时间戳合并至距离最近的聚类中心所在的聚类簇中;其中距离的计算公式为步骤s51所述公式;
117、s54:计算聚类簇中所有难点时间戳的均值,并在聚类簇内选取距离均值最近的难点时间戳,作为更新得到的聚类中心,返回步骤s53;直至所有k个聚类中心不发生变化,且k个聚类簇中的难点时间戳不发生变化,得到k个聚类簇;
118、计算每个聚类簇中难点时间戳数量,提取超过预置难点时间戳数量的聚类簇,计算所提取聚类簇中所有难点时间戳的均值,得到均值化处理后的难点时间戳,将均值化处理后难点时间戳中大于0.3所对应课堂教学时刻作为该聚类簇的难点时间,并将难点时间所对应的课堂教学内容作为该聚类簇中所有学生的课堂教学难点。
119、为了解决上述问题,本发明提供一种注意力分析的课堂教学难点分析系统,所述系统包括:
120、面部表情分类模块,用于在真实的教室环境中使用摄像头采集学生的面部表情图像数据,并对采集到的面部表情图像数据进行标注,构成面部表情分类训练数据集,构建面部表情分类模型,并基于面部表情分类训练数据集对面部表情分类模型进行训练,采集学生在课堂教学过程中的面部表情图像数据序列,并利用面部表情分类模型对面部表情图像数据序列进行分类,得到学生在课堂教学过程中的表情分类结果序列;
121、课堂教学难点定位模块,用于对每一名学生的表情分类结果序列进行难点定位,得到学生在课堂教学过程中的难点时间戳;
122、课堂教学难点内容定位装置,用于对全体学生的难点时间戳进行聚类,得到多个聚类簇,提取超过预置难点时间戳数量的聚类簇,将提取聚类簇所对应的课堂教学内容作为该聚类簇中所有学生的课堂教学难点。
123、为了解决上述问题,本发明还提供一种电子设备,所述电子设备包括:
124、存储器,存储至少一个指令;
125、通信接口,实现电子设备通信;及
126、处理器,执行所述存储器中存储的指令以实现上述所述的注意力分析的课堂教学难点分析方法。
127、为了解决上述问题,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一个指令,所述至少一个指令被电子设备中的处理器执行以实现上述所述的注意力分析的课堂教学难点分析方法。
128、相对于现有技术,本发明提出一种注意力分析的课堂教学难点分析方法,该技术具有以下优势:
129、首先,本方案提出一种面部表情分类方式,利用训练得到的面部表情分类模型接收面部表情图像数据序列中的任意面部表情图像数据并进行分类,得到每一名学生的表情分类结果序列,其中面部表情图像数据的分类流程为:输入层接收面部表情图像数据;图像分块层对面部表情图像数据进行分块处理,得到面部表情图像数据块序列:
130、
131、
132、其中:表示分块得到的第s个面部表情图像数据块,s表示分块得到的面部表情图像数据块总数,依次对应在颜色通道的像素矩阵;编码层对面部表情图像数据块序列进行结合位置信息的编码处理,得到面部表情编码向量:
133、
134、其中:表示面部表情编码向量;表示面部表情图像数据块的编码处理结果;表示面部表情图像数据块在面部表情图像数据中的行位置与列位置之和,其中行位置为面部表情图像数据块在面部表情图像数据的水平方向图像数据块位次,列位置为面部表情图像数据块在面部表情图像数据的竖直方向图像数据块位次;为rgb颜色通道的编码矩阵;表示卷积处理;感知层结合注意力机制以及感知计算的方式对面部表情编码向量进行感知,得到课堂教学过程中第m名学生在第h个课堂教学时刻的面部表情感知向量:
135、
136、其中:表示以自然常数为底的指数函数;表示编码处理结果对应的感知信息;输出层对面部表情感知向量进行向量映射,得到课堂教学过程中第m名学生在第h个课堂教学时刻的面部表情分类结果:
137、
138、其中:w表示输出层中的连接矩阵,表示l1范数,表示预设的特征阈值;表示课堂教学过程中第m名学生在第h个课堂教学时刻的面部表情分类结果,则表示为专注表情,则表示为困惑表情。本方案通过采集面部表情图像数据并进行学生表情标注,基于标注后的数据对面部表情分类模型进行训练,在训练过程中,基于真实标注结果以及模型输出的面部表情分类结果之间的差值构建目标函数,结合目标函数梯度的一阶矩以及二阶矩对模型参数向量进行迭代,得到用于面部表情分类的模型,其中面部表情分类模型对面部表情图像数据进行分块以及结合位置信息的编码处理,并对编码处理结果进行结合注意力机制的感知处理,得到表征学生当前注意力状态的感知信息,实现不同课堂教学时刻中学生专注表情以及困惑表情的分类处理,得到学生在课堂教学过程中的表情分类结果序列。
139、同时,本方案提出一种课堂教学难点定位以及分析方式,对全体学生的难点时间戳进行聚类,得到多个聚类簇,其中难点时间戳的聚类流程为:计算得到任意两名学生之间的难点时间戳距离,其中第m名学生与第q名学生之间的难点时间戳距离为:
140、
141、
142、
143、其中:表示尺度因子,将设置为1;表示l2范数;表示之间同为难点时刻的课堂教学时刻数目,则表示课堂教学过程中第h个课堂教学时刻为第m名学生与第q名学生的难点时刻,;随机选取k个学生的难点时间戳作为初始聚类中心,每个聚类中心对应一个聚类簇;计算非聚类中心所对应难点时间戳到聚类中心的距离,将非聚类中心所对应难点时间戳合并至距离最近的聚类中心所在的聚类簇中;计算聚类簇中所有难点时间戳的均值,并在聚类簇内选取距离均值最近的难点时间戳,作为更新得到的聚类中心,重复聚类;直至所有k个聚类中心不发生变化,且k个聚类簇中的难点时间戳不发生变化,得到k个聚类簇;计算每个聚类簇中难点时间戳数量,提取超过预置难点时间戳数量的聚类簇,计算所提取聚类簇中所有难点时间戳的均值,得到均值化处理后的难点时间戳,将均值化处理后难点时间戳中大于0.3所对应课堂教学时刻作为该聚类簇的难点时间,并将难点时间所对应的课堂教学内容作为该聚类簇中所有学生的课堂教学难点。本方案基于学生出现困惑表情的课堂教学时刻,对每一名学生的表情分类结果序列进行难点定位,将标记难点时刻的序列作为学生在课堂教学过程中的难点时间戳,结合不同学生相同的难点时刻比例以及非线性距离,进行不同学生难点时间戳的距离计算,进而对全体学生的难点时间戳进行聚类,得到多个聚类簇,提取超过预置难点时间戳数量的聚类簇,将提取聚类簇所对应的课堂教学内容作为该聚类簇中所有学生的课堂教学难点,实现不同类别学生的课堂教学难点分析以及提取处理。
1.一种注意力分析的课堂教学难点分析方法,其特征在于,所述方法包括:
2.如权利要求1所述的一种注意力分析的课堂教学难点分析方法,其特征在于,所述s1步骤中在真实的教室环境中使用摄像头采集学生的面部表情图像数据,并对采集到的面部表情图像数据进行标注,包括:
3.如权利要求2所述的一种注意力分析的课堂教学难点分析方法,其特征在于,所述将标注后的面部表情图像数据构成面部表情分类训练数据集,包括:
4.如权利要求1所述的一种注意力分析的课堂教学难点分析方法,其特征在于,所述s2步骤中构建面部表情分类模型,包括:
5.如权利要求4所述的一种注意力分析的课堂教学难点分析方法,其特征在于,所述对面部表情分类模型进行训练,包括:
6.如权利要求1所述的一种注意力分析的课堂教学难点分析方法,其特征在于,所述s3步骤中采集学生在课堂教学过程中的面部表情图像数据序列,并利用面部表情分类模型对面部表情图像数据序列进行分类,包括:
7.如权利要求6所述的一种注意力分析的课堂教学难点分析方法,其特征在于,所述s4步骤中对每一名学生的表情分类结果序列进行难点定位,包括:
8.如权利要求7所述的一种注意力分析的课堂教学难点分析方法,其特征在于,所述s5步骤中对全体学生的难点时间戳进行聚类,得到多个聚类簇,提取超过预置难点时间戳数量的聚类簇,将所对应的课堂教学内容作为该聚类簇中所有学生的课堂教学难点,包括:
9.一种注意力分析的课堂教学难点分析系统,其特征在于,所述系统包括:
