应用实践 | 孙鑫昊 张朝晖 赵小燕:基于主动刺激的线上教学学生专注度评价研究

中国教育信息化
2022-08-27 15:30 浏览量: 2672

引用:

孙鑫昊,张朝晖,赵小燕.基于主动刺激的线上教学学生专注度评价研究[J].中国教育信息化,2022,28(07):107-113.

应用实践

基于主动刺激的线上教学学生专注度评价研究

孙鑫昊

(1.北京科技大学 自动化学院,北京 100083;

2.北京科技大学顺德研究生院 自动化学院,广东 佛山 528300)

摘 要:

针对线上教学期间,教师无法实时判断学生上课状态的现象,文章提出一种基于主动刺激的线上教学学生专注度评价方法。该方法利用电脑摄像头实时获取学生上课时的脸部图像,经图像预处理后,运用RetinaFace算法检测出脸部区域并定位瞳孔位置,再运用Dlib算法检测两侧眼角关键点的位置,最后通过计算瞳孔到两眼角距离的差值来判断视线朝向。为避免一些假象,每隔一段时间在屏幕上随机插入快速闪动的光点进行主动刺激,同时通过检测学生视线方向的一致性来判断专注度。实验所得结果与学生实际的专注度状态基本吻合,可以证明该方法的有效性。

关键词:线上教学;专注度评价;人脸检测;视线追踪;主动刺激

中图分类号:TP391;G202 文献标志码:A 文章编号:1673-8454(2022)07-0107-07作者简介:孙鑫昊,硕士,主要研究方向为图像处理与模式识别,邮箱:18813059178@163.com;张朝晖,教授,博士,主要研究方向为传感器及智能感知技术、太赫兹波检测技术,邮箱:zhangzhaohui@ ustb.edu.cn;赵小燕,副教授,博士,主要研究方向为太赫兹检测技术、环境安全监测,邮箱:zhaoxiaoyan@ustb.edu.cn。

一、引言

当前,线上教学已经普遍被人们所接受,成为新冠肺炎疫情下常用的教学形式。线上教学与课堂教学的最大差别是教师无法掌握学生状况,只能广播式、开放式地施教,教学效果难以保障。如果开通教师对每一个学生的直播视频,又会占据大量带宽,而且由于学生具有空间分散性,教师难以全面了解学生整体状况。为此,有必要开发新的技术手段,通过网络将每一个终端前学生的注意力,以量化的数字指标及时反馈,使教师能够整体掌控“广域课堂”的学生注意力状况。

近年来,对于学生课堂专注度的评价在国内外取得了大量研究成果。例如,有国外研究者开发了通过检测眼睛和头部运动,来获得学习者在在线学习环境中注意力水平的系统

上述研究大多属于“被动”的机器学习特征提取。但是,这些外表特征可能无法反映学生的专注度。例如,学生在分神的情况下仍然能够保持正常的脸部特征。据此,本文提出一种基于主动刺激的线上教学学生专注度评价方法,通过在正常教学屏幕上随机插入快速闪动的光点,来捕捉学生的面部、眼部特征,并做出关联分析,客观地评价学生的专注度。最后,将一段时间内的专注度统计结果反馈给教师。

图1为教师端与学生端双向信息交流示意图。教师端负责教学内容输出,每位学生利用算法得到专注度状态评价及专注度曲线,并输出到教师端。教师在得到多位学生的专注度评价后,进行学生专注度整体评价。

二、主动刺激专注度验证方法

主动刺激专注度验证流程如图2所示。该方法通过RetinaFace算法定位人脸及瞳孔位置,利用Dlib算法定位人眼角部位关键点,计算左右眼角到瞳孔的距离差值,从而判断视线朝向。另外,摄像头屏幕区域划分为为左、中、右三块,每隔一段时间在屏幕上随机闪现光点进行主动刺激测试。在刺激点消失的1秒内,如果学生视线看向刺激点位置,则该学生处于专注状态;如果学生未看向刺激点位置,则该学生处于非专注状态。

(一)图像预处理

为减小图像原始数据量,便于后续处理时计算量更少,在电脑摄像头采集到图像后,首先将图像转化为灰度图,然后进行图像增强去噪操作。

1.直方图均衡化

由于图像在自然环境下采集,无法保证较为理想的光照条件,会出现图片某些部分偏亮、某些部分偏暗的情况,因此需要对图像进行直方图均衡化处理。直方图均衡化是将原图像通过某种变换,得到一幅灰度直方图为均匀分布新图像的方法图3所示,其中,图3(a)为直方图均衡化前的图像,图3(b)为均衡化后的图像。可以发现,均衡化后图像的某些细节会显示得更加清晰。

a)原灰度化图像 (b)均衡化后图像

图3 直方图均衡化图像处理

2.高斯滤波

由于CCD摄像头长期工作会出现温度过高的情况,拍摄时的光照影响也会产生少量高斯噪声,所以在直方图均衡化后,还需要利用滤波消除图像噪声。经过对多种滤波方法进行比较,本文决定采用高斯滤波进行图像噪声消除。高斯滤波原理是利用一个n x n的模板进行运算,将中间点像素值赋为连通区域像素值的均值,并且较近的像素具有较大的权重值图4所示,其中,图4(a)为高斯滤波前的图像,图4(b)为高斯滤波后的图像。可以发现,高斯滤波可以有效去除图像中的噪声。

a)原均衡化图像 (b)滤波后图像

图4 高斯滤波图像处理

(二)RetinaFace人脸及瞳孔检测

对于实时获取的图像,复杂的背景可能会对人脸特征检测造成一定干扰。为了简化后续运算、提升检测速度,先对获取的图像进行人脸检测,以便在人脸图像中进一步检测特征点。

RetinaFace算法是Insight Face工具箱推出的最新人脸检测模型

RetinaFace的mnet本质是基于RetinaNet的结构,采用特征金字塔的技术,实现多尺度信息的融合,对检测小物体有重要的作用。RetinaNet结构如图5所示。

目前,RetinaNet改进版使用较多,其利用MobileNet作为主干提取网络。MobileNet模型是一种轻量级的深层神经网络,核心是使用可分离卷积,可以在CPU上实现实时检测。

首先,利用MobileNet作为主干网络搭配特征金字塔,生成三个不同尺度上的检测框,保证可以检测到不同大小的物体。然后,通过SSH模块进一步加强特征提取。SSH的思想非常简单,使用三个并行结构,利用3x3卷积的堆叠代替5x5与7x7卷积的效果。最后,在通过SSH获得三个有效特征层后,再利用这三个有效特征层获得预测结果。RetinaFace的预测结果分为三种,分别是分类预测结果、框的回归预测结果、人脸关键点的回归预测结果。RetinaFace的检测分支如图6所示。

(三)Dlib人脸关键点检测

人脸关键点的定位对于人脸信息提取是一个关键步骤。由于视线跟踪需要精确的眼部位置信息,所以要利用人脸关键点检测算法来定位眼角位置。

为了提高对学生眼睛区域的定位精度,本文采用Dlib算法进行人脸关键点定位。Dlib算法是一种人脸关键点定位算法图8所示分别为68个关键点对应的位置。

本文主要目的是判断视线朝向,所以主要关注标号为37、40、43、46的关键点位置。Dlib人脸关键点的检测结果如图9所示。

(四)主动刺激专注度评价规则

利用上述算法检测到瞳孔和左右眼角位置后,计算左右眼角分别到瞳孔的距离。当人脸端正面看向摄像头时,可分为看向正前方、看向左边和看向右边三种情况。图10为人眼模拟图,外部椭圆为眼眶,中心的黑色圆为瞳孔。当人眼看向正前方时,瞳孔一般处于眼睛中心,此时R1(左眼眶到瞳孔的距离)与R2(右眼眶到瞳孔的距离)基本相等;当人眼看向左边时,瞳孔会发生明显的左偏,此时R1的距离会小于R2;同理,当人眼看向右边时,R1的距离会大于R2。所以在一定误差范围内可以认为:如果R l≈R2,则人眼视线方向为中间;如果R lR2,则人眼视线方向为右边。

设定每隔一段时间,在屏幕的随机位置上会出现快速闪动的刺激点。该刺激点为红色,每次闪动0.2秒左右便会消失,将屏幕划分为左、中、右三块区域,每次刺激点会随机出现在屏幕的某一区域,如图11所示。

在刺激点出现时,如果学生处于专注状态,便会对突然出现的刺激点做出反应,从而将视线看向刺激点出现的区域;如果该学生处于走神状态,那么很可能会对刺激点无动于衷,从而没有对刺激点的出现做出反应。

据此可以判断刺激点出现时的位置与学生的视线朝向是否一致。如果刺激点消失后的1秒内学生视线看向刺激点位置,则该学生处于专注状态;如果学生未看向刺激点位置,则该学生处于非专注状态。

三、实验设置

实验环境:实验通过在笔记本电脑上进行线上教学来获取实验数据;实验人员为实验室在校学生,不同学生所在的实验场地光照条件不同;温度、气压等对实验影响较小因素保持正常即可。

摄像采集设备:摄像头型号为雅兰仕D8摄像头,采集帧率为每秒30帧,视频分辨率为1920 ×1080 像素。算法处理:Windows 10环境下采用 Python语言编写,编译器为Pycharm。计算机的硬件性能:CPU为Intel Core i5-9300H,GPU为NVIDA GTX 1080。图12为不同学生在不同实验场地进行测试的画面。

四、实验验证与结果分析

本文选取三位测试者进行主动刺激专注度验证,以及不同人脸检测算法性能比较。

(一)人脸检测分析

将RetinaFace算法与其他两个比较典型的人脸检测算法Adaboost、MTCNN进行检测时长对比,记录每帧图像检测人脸所需的时间。实验结果显示,RetinaFace的检测时长更短,效果更佳。因此,本文选择RetinaFace算法进行人脸检测。

本文在每位测试者测试过程中随机截取100张图片,包含正常情况、眨眼、打哈欠、低头等行为,然后利用RetinaFace进行人脸检测,得到各样本人脸检测准确数量情况,实验结果如表1所示。

表1 人脸检测结果

做以下定义:精确率=检测正确人数/检测人数;准确率=检测人数/总人数。精确率与召回率越高,检测效果越好。

由于学生听课过程中会出现抬低头、转头等行为,导致出现无法检测到人脸的情况。在此情况下,测得的平均准确率达到92.5%,并且精确率达到100%,即表示在检测到的人脸中,没有出现误检的情况。

(二)主动刺激专注度评价实验

主动刺激专注度评价实验结果如图13所示。其中,由于摄像头内人脸是镜像存在的,所以当视线朝向左边时,其在图片内是向右看的。

图中左上角显示人眼视线朝向,右上角显示专注度状态。从实验结果可以看出,当刺激点出现时,如果视线朝向位置与刺激点出现位置一致,则右上角为“Concentration”;如果视线朝向位置与刺激点出现位置不一致,则右上角为“Distracted”。根据刺激点消失后1秒内,学生视线朝向与刺激点位置的对比,输出整体的专注度情况。刺激点消失后的1秒内,如果学生视线看向刺激点位置,则会输出“Concentration”;如果学生未看向刺激点位置,则会输出“Distracted”。

选取10组测试结果进行准确率分析,实验结果如表2所示。其中,9组测试结果正确预测当前学生状态,正确率为 90%。整体实验效果良好。

表2 算法检测准确率分析

还要对测试者视频进行专注度验证。绘制专注度变化曲线,设定当专注度结果为“Concentration”时,分数为1;当专注度结果为“Distracted”时,分数为0。图14为测试者专注度评分随时间变化曲线。

图14 专注度评分随时间变化曲线

图中横轴代表时间,纵轴代表专注度评分。从曲线可以看出,该学生在前50秒内处于不稳定状态,专注与不专注状态交替出现;在50~150秒内处于专注状态;在150~200秒内处于不专注状态,应该受到某些课外因素的影响。

五、结语

针对线上教学期间,教师无法实时判断学生上课状态的问题,本文提出的线上教学学生专注度评价方法,可以较准确地给出学生实时的专注度评分。该方法首先采集学生上课视频图像,然后利用RetinaFace和Dlib算法对学生的人脸、瞳孔以及人脸关键点进行检测定位。上述两种算法能够快速准确地定位人脸、瞳孔及关键点。该方法通过每隔一段时间在屏幕上随机闪现刺激点的形式,对学生进行主动刺激专注度判断。当刺激点消失后1秒内,通过检测学生视线方向与刺激点出现位置的一致性,来判断该学生是否专注听课。实验证明,该方法可以有效判断学生是否走神,还可以辅助教师获得更及时、高效、客观的学生专注度状态,有助于教师客观评价教学效果,提高教学效率。

参考文献:

[1]KRITHIKA L B, PRIYA G L. Student emotion recognition system (SERS) for e-learning improvement based on learner concentration metric[J]. Procedia Computer Science, 2016, 85:767-776.

[2]孙亚丽.基于人脸检测的小学生课堂专注度研究[D].黄石:湖北师范大学,2016.

[3]段巨力.基于机器视觉的学生上课专注度的分析评测系统[D].杭州:浙江工商大学,2018.

[4]蹇明芳.一种学生听课积极性的检测方法及系统:CN108765226A[P].2018-11-06.

[5]MANO L Y, MAZZO A, NETO J, et al. Using emotion recognition to assess simulation-based learning[J]. Nurse Education in Practice, 2019,36:13-19.

[6]陈永亮.灰度图像的直方图均衡化处理研究[D].合肥:安徽大学,2014.

[7]VELHO L. Simple and efficient polygonization of implicit surfaces[J]. Computer Aided Geometric Design, 2012,1(2):5-24.

[8]DENG J, GUO J, ZHOU Y, et al. RetinaFace: single- stage dense face localisation in the wild[J]. Computer Vision and Pattern Recognition, 2019(2):58-66.

[9]ZHANG K, ZHANG Z, LI Z, et al. Joint face detection and alignment using multitask cascaded convolutional networks[J]. IEEE Signal Processing Letters, 2016,23(10):1499-1503.

[10]KAZEMI V, SULLIVAN J. One millisecond face alignment with an ensemble of regression trees[C]// IEEE Conference on Computer Vision & Pattern Recognition. IEEE, 2014.

A Research on the Evaluation of Students’Concentration in Online Teaching Basedon Active Stimulation

(1.School of Automation and Electeical Engineering, University of Science and Technology Beijing, Beijing 100083;

2.Department of Automation, Shunde Graduate School of University of Science and Technology Beijing, Shunde Guangdong 528300)

Abstract: In view of the phenomenon that teachers cannot judge students’ class status in real time during online teaching, this paper proposes an online teaching student concentration evaluation method based on active stimulation. With this method, the computer camera is used to obtain the face image of students in class in real time, then after image preprocessing, the Retina Face algorithm is used to detect the face area and locate the pupil position, and the Dlib algorithm is used to detect the position of the key points of the corners of the eyes on both sides. The line of sight orientation is judged by calculating the distance from the pupil to the corners of the eyes on both sides. In order to avoid some illusions, fast flashing light spots are inserted into the screen every other period of time randomly for active stimulation, and the concentration is judged by detecting the consistency of students’ line of sight direction. The experimental results are basically consistent with the actual concentration state of students, which can prove the availability and efficiency of this method.

Keywords: Online teaching; Focus evaluation; Face detection; Eye tracking; Active stimulation

编辑:王晓明 校对:李晓萍

编辑:刘蕊

(本文转载自中国教育信息化 ,如有侵权请电话联系13810995524)

* 文章为作者独立观点,不代表MBAChina立场。采编部邮箱:news@mbachina.com,欢迎交流与合作。

收藏
订阅

备考交流

免费领取价值5000元MBA备考学习包(含近8年真题) 购买管理类联考MBA/MPAcc/MEM/MPA大纲配套新教材

扫码关注我们

  • 获取报考资讯
  • 了解院校活动
  • 学习备考干货
  • 研究上岸攻略