摘要:在混合式学习环境下,整合正式学习和非正式学习下的行为数据进行学习结果预警,是提高预警有效性和精准性的一个重要路径,因此,着重解决数据采集面单一和课程学习预警系统匮乏问题,具有重要的实践价值。对此,国内外对学习预警相关研究已有丰富的基础。在相关文献分析的基础上,提出的基于学习行为数据的学习预警模型,包括学习服务模块、数据采集模块、教育大数据仓库和云计算平台、数据处理模块、预测计算与分 析模块、自动预警与可视化模块。基于该模型并结合相关的技术标准和规范,设计了包含了数据源、数据集成、数据管理、应用服务和信息展示的学习预警系统基础技术框架。研究结果表明,利用UML建模来设计核心数据模型,以ASP.NET为开发平台,采用Oracle数据库,从数据结构与权重、监测与动态分析和可视化结果输出等三部分开发的学习预警系统,具有高度的扩展性和稳定性,可满足学习预警的常态化监测要求。
关键词:学习行为数据;学习结果;数据结构;学习预警;可视化分析
一、研究背景
移动终端、教育APP、自带设备等技术工具的广泛应用,正对传统学习环境进行着重塑和再造,整合学习终端、学习资源和学习服务的混合式学习环境,逐渐成为新常态。学习者的学习方式也由原来的正式学习(指课堂环境下的学习)转变为正式学习和非正式学习(包括校园内学习、工作场所学习和家庭学习等)的无缝对接,形成一个连续性的个人学习空间。学习者只需在当前的学习情境下选择合适技术支持的学习终端,即可进行数字化学习。伴随着学习方式的转变,学习评价的科学性和有效性探索也在发生变化,如何基于全学习过程数据进行形成性评价和课程学习预警,成为当前学习评价所面临的重要问题。
美国2016国家教育技术计划《未来学习准备:重塑技术在教育中的角色》Future Ready Learning:Reimagining the Role of Technology in Education)在“使用评价数据更好的支持学习”部分中提出,要更好地利用教育数据系统,来提升技术支持学习工具和资源的质量和效果,利用数据促进个性化学习[1]。我们可以看到,基于学习数据集进行环境分析,改善学习服务以促进个性化学习,是未来教育发展的一个重要取向。与此同时,致力于对学习者及其所在情境中产生的数据,进行测量、搜集、分析和报告的学习分析、教育大数据和人工智能技术的快速兴起,为开展形成性评价和学习预警提供了技术上的可能性。
本研究探索混合式学习环境下,如何整合正式学习和非正式学习下的行为数据进行课程学习结果预警,并通过设计预警系统实现学习过程的动态监控,从而为开展精准教学和学习干预提供有效依据。
二、国内外研究现状分析
我们以中国知网、万方数据库、维普数据库、超星数字图书馆、百度文库等为检索源,以“学习预警”、“学业预警”为关键词,做文献检索,检索时间跨度为2007-2017年。通过对文献的内容分析,得到56篇与研究主题高度相关的中文文献。在外文文献检索上,我们以Elsevier Science Direct、Springer Link、WileyInter Science和Taylor MFrancis为检索源,以Learning Analytics,Early Intervention,Learningearly Warning,Alarming System,Early Warning System for Studying为关键词,检索文献的时间跨度与中文文献一致。经过梳理阅读,剔除无效文献,共得到27篇有效外文文献。
我们通过文献检索可以看出,学习预警相关研究整体尚不够充分,仍有可探索和挖掘的空间。在对国内外有关学习与学业预警相关文献进一步梳理和分析后,发现目前相关研究主要集中在以下四个方面:
(一)学习预警的分类及其跟踪反馈的差异研究
根据预警对象的不同,我们可以将学习预警分为三种类型:
第一种是针对学生进行的预警,系统为学习者提供在某一具体情境下的学习预警反馈。比较有代表性的案例有:Sean P.Goggins米用情境感知活动通知系统,将学习者的双向日志数据进行计算,综合考量学习者课堂互动比、跟踪测评通过率等数据,通过对学习者的同期横向对比差异,为学习者提供反馈警示[2]。密歇根大学的Tim McKay采用E2Coach系统实现了学生与资源之间的对接,通过设定学习任务、反馈进度以及发放奖励等具有针对性的学习方案,激励学习者采取增加练习量及学习时间等具体行动来提高成绩[3]。
第二种是针对教师提供的预警,系统为教师提供学习者在某一门课程中的宏观学习预警反馈及相关教学方案完善建议。例如,Riccardo Mazza和Vania Dimitrova米用的课程可视化系统,能够跟踪学生答题时间、答题次数、评价反馈等数据并生成图表。该系统根据学习者在远程学习中的学习活动过程数据进行直观评估,帮助教师快速了解学习者掌握情况,并发现需要特别关注的学习者,教师根据预警信息,进一步优化教学活动设计以进行有效干预[4]。
第三种是针对教师和学习者同时提供的双向预警,系统帮助教师制定针对个别学习者的培养方案,以有效提高学生的学习成绩。例如,普渡大学的课程信号系统,通过预测学生成功算法对考试分数、排名、学习进度等数据进行分析计算,确定学生存在学习失败的可能性,分别向教师和学生发送不同的预警信息。教师根据预警信息,结合学生的学业表现,及时给予课外谈话、心理辅导等形式进行干预支持[5]。
通过对学习预警的分类和学习预警的跟踪反馈形式可以看出,学习预警系统往往以学生为中心,其出发点和落脚点在于辅助学习者提高绩效,而其研究重点落在如何通过分析学习过程数据来发现学习存在的问题上。
(二)学习预警的基础技术与数据收集研究
近年来,物联网技术、人工智能和学习分析等技术的发展,使得学习全过程数据能够得到有效积累和深度分析,这为精准预警提供了有效支持。一些研究者从技术层面对学习预警系统的设计进行探索。例如,Steven Lonn研究团队和数据技术服务机构合作,对学习管理系统和学生信息系统的数据进行抽取、转换和加载,实现了对学习者课程历史信息的长期可持续性跟踪。运用Business Objects软件工具来识别数据库中的数据内容和相关标准,根据缺课、任务未完成等情况来构建预警报告[6]。Conde采用在线分析处理、情报检索等数据分析方法,根据班级中社交互动的信息数据找出学生之间的潜在关系、对学生成功有影响的活动等隐含信息,运用风险警报算法明确存在失败风险的学生,以便为学习过程的改进做出更精准的教学决策[7]。John Baker等开发的学习管理平台Desire2 Learn包含灵活的预测模型引擎功能,该平台利用机器智能和统计技术来预先识别存在学习失败危险的学生,利用堆叠技术和多个预测模型来提高预测的准确性,并通过分解技术设计个性化的干预措施,以提高干预的可实现性[8]。
基础技术的日益成熟,使得收集的数据也日趋全面,当前,收集的数据可以分为以下三类:(1)基础数据,包括初始成绩、个人信息、家庭背景、学习风格等;(2)行为数据,包括学习时间、交互频率、参与度等;(3)结果数据,包括测验成绩、任务完成情况等[X5。通过对学习预警的基础技术与数据收集研究分析,我们可以看出,学习预警系统多以网络教学平台作为学习过程数据采集的来源,其研究重点落在数据的有效性和学习风险的分析上。
(三)在线学习预警模型与系统构建研究
有关学习预警模型设计的文献较多,例如,赵慧琼等设计了在线学习干预模型,该模型运用学习分析技术对学习管理系统存储的数据进行分析,利用决策树算法进行危机诊断,一旦发现学习者存在危机,则及时采取电子邮件、资源推荐、弹出窗口等方式发送预警信息,并采取个性化教学、资源推荐等干预对策,以辅助学习者的学习活动顺利进行[10]。学习预警模型为预警系统的实现提供了理论支撑,在可视化预警系统上,比较有代表性的是可汗学院的学习仪表盘系统,该系统将学习管理系统与可视化工具相结合,运用信息跟踪技术和镜像技术对学习者的学习行为、习惯兴趣等信息做记录和追踪,并对测验成绩、学习时间和学习路径等数据进行分析,依据对知识点的掌握情况做反馈预警,帮助学习者提高知识点掌握程度和改善学习技能[11]。
Hoonuit在线学习平台致力于指导教师尽早识别处于学习失败危险中的学生,并整合有影响力的干预工作流程,有效地跟踪学生的进度,从而提高学生的毕业率[12],Hoonuit配合使用干预反应模型(RTI)和多层次支持系统(MTSS),该系统支持教师参与决策过程,提供了一个可以根据每个学生的需求定制的直观的预警解决方案。此外,Hoonuit通过与微软合作,使得教育部门和其他教育机构可以在云平台上运行Hoonuit的数据程序,保障了动态数据的及时连接、转换、清理和验证。通过Microsoft Azure(人工智能学习托管平台)可以及时发布早期预警信息,预警系统可以通过向教师通报学生的风险严重程度以及引起风险的原因,从而起到筛选或诊断的作用。
(四)学分制环境下学业预警机制的实践探索与分类标准研究
除了对学习预警探索外,还有研究者对学生在校学业情况进行预警分析。例如,袁安府等通过德尔菲法确定学业预警的指标要素,并结合理论、专家意见等方面指导,构建了大学生学业预警评价指标体系,确立了学业预警帮扶机制。该机制由建立学业预警帮扶领导机制、学业预警学生的帮扶、建立帮扶人员的激励机制三方面组成,实践数据表明,使用了学业预警的学生辍学率明显降低[13]。
学业预警机制在我国目前还处于探索阶段,各高校在标准制定上也都存在着一定的差异。其中比较有代表性的是M大学的学业预警机制,采用信号分级的方法,在学籍管理信息系统下成立个人资料库,目的是完成系统与学生基本信息的实时反馈与交互,对学生未通过学分进行统计叠加,在规定时间内学分不足者将受到退学警告,而二次出现退学警告者或者学分严重不足者会被勒令退学[14]。该预警机制强化了家长和辅导员在学生学业完成过程中的监督作用,有效増加了学生成功毕业率。
目前,国内外研究者从不同视角对学习与学业预警进行了初步探索,并且开始关注预警系统的实时性、连贯性和全面性,分析处理数据的多样化,应用领域的多元化,这方面也有较为成熟的学业预警系统,但成熟的学习预警系统尚不多见。已有研究将视角主要集中在学习预警模型设计、预警系统设计与干预服务、学业预警机制设计与实现等。
尽管学习预警研究在模型设计、反馈警示、学业分析等方面已取得初步成果,但在教育大数据、人工智能和学习分析背景下,对数据采集的粒度、技术实现机制、预警状态识别等方面还存在不足,具体包括:(1)数据采集面较为单一,传统课堂学习数据与在线学习数据割裂。后期仍需要整合学习者的全学习过程数据并进行分析,以提高学习预警的准确度;
缺乏能够从课程学习过程层面进行预警的系统:已有研究多从理论层面设计学习预警模型以及学业预警系统,而在学习过程中进行预警设计与技术实现上的研究则相对薄弱。
针对上述问题,本研究将在数据整合、预警系统技术实现、可视化输出等方面进行突破,通过整合预警数据采集、动态分析和可视化输出等模块形成一套预警服务模式。
三、学习预警模型设计与数据源分析
(一)数据集驱动的学习预警模型设计
要使学习预警能够有效精准的预测学生的学习结果,需要对学习者的全学习过程数据进行采集和分析。学生学习方式的多样化和学习场景的分割性,决定了学习预警要体现在不同学习环境下的多样化学习行为数据进行整合与评估,以形成一条以学习者为中心的学习数据链。在结果输出方面,利用可视化分析技术给学习者和教师提供反馈或评价环,不仅可以让教师了解学习过程中的资源使用状况、学习参与状况、学习活跃度等,而且可以通过预测分析对结果状态进行评估和分类,识别出学困生。
之前,我们对学习预测的设计取向进行了全面分析,包括以混合式学习为情境取向、整合教学设计与学习分析的理论取向、基于学习状态和行为表现的数据取向、以机器学习为分析主导的方法取向、面向个性化学习结果反馈的结果取向[15]。
基于上述设计取向,我们进一步以个性化学习分析理论、交互理论、计算思维、可视化技术为指导,提取问题建模与系统设计、个性化学习活动过程分析、不同交互层级数据采集、学习状态可视化输出等思想,最终设计了以学习者为主体中心、以学习数据链为分析对象、以个性化学习预警为服务目标的学习预警模型,如图1所示。
该模型包括学习服务模块、信息采集模块、教育大数据仓库和云计算平台、数据处理模块、预测计算与分析模块、自动预警与可视化模块:
—学习服务模块是为学习者提供包含智慧教室和教育云服务平台的混合式学习场景,并对课堂学习环境下的面对面互动结果、学习笔记记录状态、学习注意力状态,以及网络环境下的学习任务完成结果、学习互动参与结果和学习测验结果进行追踪和记录。
——信息采集模块是从键击层、交互层、行为层等方面对数据进行采集,并通过教育大数据仓库实现对信息数据的再分类,形成以学习者为中心的数据链。
——教育大数据仓库是依据个人档案信息和个体不同学习表现建立的主题数据库,提供满足具体学习行为信息提取的数据分析环境,并将各数据库进行关联,实现后面分析需求的响应与反馈。该部分将对以个人档案信息数据为代表的关系型数据库和以学习过程和学习结果数据为代表的非关系型数据库进行分类处理,分别发挥传统数据库工具在结构化数据处理的优势,以及Hadoop在大规模非结构化数据的预处理优势,最后将两者处理后的数据存储至结构化数据库中。
——云存储池和云计算平台则是通过集群应用、网络技术和分布式文件系统等功能,将不同教育数据库通过软件集合起来进行协同工作,以提供数据存储和业务访问功能。
——数据处理模块是基于分布式处理系统采用批处理和流计算,对数据进行抽取、清洗、转换和集成加载[16]。预测计算与分析模块是采用层次分析法计算数据模块权重,并应用BP神经网络和关联规则,预测分析各数据模块关系与学习结果表现。
——自动预警与可视化模块是基于分析结果对预警结果状态、学习报表分析、预警过程分析进行输出,其中预警结果状态是基于预警计算数值采用可视化仪表盘方式进行标识。
(二)学习预警数据源分析
1.个人档案信息数据
该部分数据主要包括学生入学初始成绩、必修课程通过率、选修课程通过率、补考及重修因素、学位课程平均绩点等。其中,必修课和选修课课程通过率是对以往所修课程数进行统计,并进行数据折合转换得到的。补考及重修因素包含挂科、刷新绩点、因个人情况未进行考试等因素。学位课程平均绩点是依据学生具体成绩分数转换计算为绩点值。
个人档案信息数据反映学习者的整体学习水平和学习成绩的动态变化过程,基于该类数据既可以把握成绩变化趋势为成绩预测提供支持,又可以掌握学情了解学习者的学习表现风险区间,使预警结果能够符合学习者常态化学习状态[17]。
2.课堂学习行为数据
该部分数据包括出勤频率、师生互动频率比、生生互动时长比、学习笔记记录频次比、课堂注意力时间比、教师形成性评估次数与课堂注意力时间比、注意的分配和转移等。其中,师生互动频率比是指教师提出问题后,学生个人参与互动数与互动总数的比值。生生互动时长比是指学生个人参加互动时间和互动总时间的比值。学习笔记记录频次比,是个人记录次数占班级总记录次数的比值。课堂注意力时间比是个人集中注意听讲时间占课堂总时间的比值。教师形成性评估次数与课堂注意力时间比是教师点评学生时学生注意力时间和教师未点评时学生注意力时间的比值。注意的分配是指通过跟踪头部姿势、面部表情、眼动等人类生理信号,来识别学习者实时的注意力水平,获取学生注意力高度集中的时间段分布信息。注意转移是指学生注意力转移的因素。
课堂学习行为数据的搜集,是指通过智能录播技术对学习者的行动表现进行的有效追踪和实时记录。在学习注意力表现上,应用国外研究者MirkoRaca等设计开发的课堂注意力评价系统,通过学习者头部和肢体的移动位置、移动方向以及写作活动分析其注意力状态[18]。
3.网络学习行为数据
该部分数据包括平台登录时间点、频次和持续时间、学习次序、学习任务完成进度及积极性、学习互动参与程度、学习练习测验结果。其中,学习次序是指学习者根据自身学习习惯来决定学习次序,通过跟踪在线学习者的浏览路线来研究学习者的学习行为,并对学习者行为进行有效跟踪、采集、分析和评估,从而归纳出学习行为与学习者在学习过程中的持久性以及所获得的成绩之间的关系。
学习任务完成进度是根据学习者观看课程微视频、学习材料情况、是否参与测评进行记录分析来判定的。基于学习者的人机交互点击流数据,识别出学习任务跳转及完成状态,只有完整观看视频、浏览学习材料、参与测评,才被确定为完成学习任务。任务完成积极性是指学生从任务发布到完成任务所间隔的时间,与全班学生完成任务的总时间的比值。学习互动参与程度是基于学习者浏览主题帖数、发帖数、回复数进行综合分析,各分类数与学习者集体参与总数的比值为参与程度。练习测验结果是对课后多个测验结果进行统计,将各项测验成绩值转换成百分比后进行累计。
四、学习预警系统的基础技术框架
在前期分析的基础上,依据上述提出的预警模型与数据来源,结合相关的技术标准和规范,我们设计了学习预警系统的基础技术框架,如图2所示。该框架包括五个部分内容:
(一)数据源
数据源涵盖了学生个人基础档案数据、课程信息数据、课堂表现数据、在线课程学习表现数据、学习测评数据等模块信息,收集的数据均为混合式学习环境下影响或显示学习者学习状态的重要信息。从来源对象上看,主要汇聚学习者、课程和班级三类教育数据,这些数据是反映学习者学习水平及其在群体中学习表现的关键数据,可以帮助学习者更好地掌控学习状态。数据源所涵盖数据的质量和数量直接决定了预测学习结果和预警学习危机的成效,源数据的合理性与准确性保证了教育大数据仓库的有效性,为数据集成提供基础支持,这是预警系统开发的前提和基础。
(二)数据集成
数据集成包括数据的定义、数据采集、数据抽取、数据转换与清洗、数据加载。数据集成用于解决课程学习进程中存在的数据间的互通问题,其目的是将分散的、异构的教与学过程数据,转换成联系的、统一的能够对学习结果产生正反馈的数据,从而保证数据的一致性,以解决在线数据和课堂数据间的冲突等问题。其中数据清洗与转换是数据集成的关键点,数据清洗的任务是过滤不完整、错误和重复等不符合要求的数据,以确保预测学习结果的信度#];数据转换的任务主要是进行不一致数据的转换、数据粒度的转换和一些规则的计算,以确保形成以学习者为中心的数据链,方便数据的挖掘分析,为进一步的数据管理提供保障,并最终实现学习预警。例如,课堂表现数据的集成,这类数据与学习注意力密切相关,采集的手段首先采用图像増强技术,对于课堂实时采集图像进行预处理,对课堂场景进行分析,提取感兴趣区域,对学生采集图像的颜色特征进行计算,确定学习者面部位置,获取眼部位置并对其眼动情况进行分析。将这些数据集成并量化,从而得到学习者的注意力状态,有助于对学习进程给予适当干预或建议。
(三)数据管理
数据管理既包括线上和线下学习表现数据的分类与数据关联,也包括数据索引、查询、流处理与批处理的整合、数据分析与计算。数据管理的功能定位是对集成数据的管理,是形成有效精准预警信息的重要保障,也是保护隐私数据、确保数据安全的关键点。其目的在于保障高质量的学习结果预测,协调集成数据实现各种应用之间的可共享性,最后实现学习者与学习结果、预警信息的良好对接。在系统建设上,通过分布式文件系统、分布式数据库和并行计算模型进行架构实现。采用Hadoop分布式文件系统,对以学习者为中心的不同行为数据节点进行链接,为上层数据挖掘提供非结构化存储服务。采用MapReduce分布式并行计算模型对不同学习表现数据进行拆分,在不同计算节点上执行,最后整合计算结果。
(四)应用服务
在整合数据源、数据集成和数据管理的基础上,形成了教育大数据仓库。教育大数据仓库是一个面向教育教学的、集成的、随时间变化的、相对稳定的大数据集合,用于支持学习预测、教育管理决策等功能。教育大数据,仓库常用的创建方法步骤包括:(1)将各个教育信息系统的业务数据库中的共享数据和非共享数据,通过数据抽取转换加载软件(Extract Transform Load,ETL)工具抽取、清洗、转换到操作型数据存储(Operational Data Store,ODS)数据缓冲区;(2)将ODS数据缓冲区的共享数据,通过ETL工具抽取、清洗、转换到ODS的共享数据区中;(3)将ODS数据缓冲区的非共享数据抽取到数据仓库中;(4)将ODS共享数据区的共享数据抽取到数据仓库中。
在教育大数据仓库的基础上构建应用服务层,应用服务层分为服务层和应用层,服务层提供基础教学资源,为应用层提供学习分析基础;应用层为学习者提供针对学习内容理解内化程度的判断与检测,是对服务层的评价与反馈,是服务层在学习进程和知识应用层面上的推进。服务层直接为师生提供包括模型服务、监控与预警服务、信息展示、移动服务、数据审核与发布服务、视频服务、实时信息服务等在内的具体功能服务。该层以教育大数据仓库和教育云平台为依托,实现师生之间的信息交互,帮助师生完成教学活动;应用层是包括考勤管理、作业管理、测试管理、课堂表现、互动管理、任务管理和线上学习管理在内的与测评系统相关的具体模块。测评活动贯穿于整个学习进程当中,起到诊断性评价的作用,而测评结果则作为学习结果和预警信息的依据,可以快速发现学习者在学习过程中存在的问题和不足,以便对学习者的学习状况形成直观了解。
(五)信息展示
信息展示层是学习预警系统的最高层,包括报表设计、可视化数据展示、图形监控和报警、移动终端的扩展和决策分析。预警系统综合考虑学习者的学习过程、学习结果、内容形式、表现方法等要素,利用可视化的技术手段,将阶段性学习结果输出为仪表盘等形式,对有效的学习结果预测和精准的学习预警分析进行更直观的反馈,从而帮助学习者更好地理解分析结果,支持决策行为。
五、学习预警系统的技术实现
学习预警系统要提供统一的对象工厂模型以及多种教学业务模式,应用支持向量机和机器学习方法进行数据分析[20]。在技术路线上,利用UML建模来设计核心数据模型,以ASP.NET为开发平台,采用Oracle数据库,基于Microsoft.Net后台开发及JQuery前台开发等开发预警系统。该系统具有高度的扩展性和可维护性,可动态管理教育大数据仓库内部数据分析环境,定期进行数据更新,使教育大数据仓库正常运行,并能够根据学习过程数据快速地进行动态分析,解决软件需求不确定性和软件开发实施速度之间的矛盾,满足学习预警的常态化监测需求。
(一)预警系统的数据结构及权重
学习预警的主要数据结构包括:教师表、课程表、选课表、考勤表、个人档案信息表、学习资料表、课堂学习行为数据表、网络学习行为数据表、测评任务表、操作日志表等,其属性和结构关系如图3所示。
在这些数据结构中,由课程表可以计算个人档案信息表的必修课与选修课数量,以及通过数量和绩点;由选课表计算出课程成绩和课程是否通过"由操作日志表和学习资料表获得网络学习行为中的发帖数量、回复数、浏览帖数量、完成进度、互动参与度等信息"由网络学习行为数据表、测评任务表和课堂学习行为数据表,计算出测评预警结果、课堂学习行为预警结果、网络学习行为预警结果。通过分析数据结构,可以解决数据关联、数据通信以及交互规范等基础性问题。
学习预警结果是基于数据模块计算得出的,而在模块权重方面,我们可采用层次分析法,对以往存在学习风险的学生,在不同数据模块的表现情况进行统计分析。具体过程包括:(1)构造判断矩阵,请评判专家按照九分位的比例标度,对上述同一层次的数据模块指标的相对重要性进行评判;(2)计算权重,依据层次分析计算公式,将上述十阶判断矩阵的各行向量进行几何平均、归一,得到各个数据模块的权重向量;(3)一致性的检验,为了评估预警系统的性能,判断其是否能给出精准的预警信息,需要检验判断矩阵是否具有较好的一致性。我们先根据指标公式计算得出一致性指标,之后与十阶判断矩阵的平均随机一致性指标值进行相除,从而得出判断矩阵的一致性比率。
(二)预警过程的监测与动态分析
预警过程包括预警状态监测与动态分析,其中监测点包括课程测评分数、排名、课堂表现、线上任务完成与互动情况等;状态监测数据包括考勤记录、测评成绩、课堂表现等。动态分析指采集各个子系统的监测数据,将数据整合到教育大数据仓库中,并按照使用者的需求,通过教育大数据仓库高效地对数据进行全面动态分析,发现数据中的潜在信息,及时对学习结果做出精准预测,最终以数字、图表、仪表盘等可视化形式呈现出来,从而为教师和教育管理者提供学习预警动态分析。我们以预警过程的测评模块(该模块包括考勤和平时测验)进行具体说明,其动态分析过程如图4所示。测评成绩在预警系统中经过换算满分为10分,图左边是测评数据的记录,分数小于6显示为红色,图右边是曲线图,从图中可以看出李文在每个时间段的分数都很低,处于报警状态。
(三)预警结果的可视化输出
1.数据可视化技术概述
数据可视化旨在借助于图形化手段,清晰有效地传达与沟通信息。为了有效地传达思想概念,图形形式与功能需要齐头并进,通过直观地传达关键维度与特征,实现对稀疏而又复杂的数据集的深入洞察。在本文中,数据可视化的对象主要包括:学习者在学习测评过程产生的有效数据、学习者学习过程中产生的交互行为数据、学习预警结果的信息展示。
2.插件式开发及highchart插件在预警系统中的应用
插件式开发是一种程序设计技术,是一种面向组件的软件开发方法。在插件结构的应用系统中,程序并不是单一的执行文件,而是由主程序和若干外部模块组成。这些模块是按照一定的规则编写,可以通过配置文件灵活地加人到系统中,也可以在程序运行时动态地加人到系统中。Highcharts是一个用JavaScript编写的图表插件库,可在预警系统中实现结果的可视化输出。它能够支持外部数据加载和数据动态性,支持多种数据形式。Highcharts结合Jquery等javascript框架提供的Ajax(—种创建交互式网页应用的网页开发技术)接口,可以实时地从考勤管理、作业管理、任务管理、互动管理、课堂表现和线上学习等模块取得数据,集成到中心服务器中并刷新图表,提供良好的用户体验。
各个模块的数据源包括测评数据源、课堂表现数据源、课程信息数据源、互动表现数据源等。当前,学校的教育信息化系统和在线教育管理系统,都已存在着多个业务系统,如教务管理系统、学生管理系统、毕业管理系统等。虽然各个系统都有查询、分析、报表等功能,但要集中地对数据进行管理和分析,操作并不方便。从管理者视角看,在进行学习预警时,需要从多个维度对学习者本身进行分析,这就要求教育大数据仓库关联多个相关数据库,并从多个维度来组织数据、显示数据。这不仅是简单地看到各个业务系统的数据,而是需要对这些数据进行综合的汇总、分析、监测。本研究中的预警系统数据,分别来自学生管理系统、成绩管理系统、测试系统等。
因此,我们需要将不同业务系统的数据进行统一的采集、整理和管理,利用教育大数据仓库,为管理者提供有效的数据处理,从而能够进行集中的数据整合与分析,具体技术路线如图5所示。
ETL是将各个子系统的数据经过抽取、清洗转换之后加载到数据仓库的过程,目的是将分散、零乱、标准不统一的数据整合到一起,为预警决策提供分析依据。ODS(Operational Data Store)是操作型数据存储,0DS具备数据仓库的部分特征和OLTP系统的部分特征,它是“集成的、当前或接近当前的、不断变化的”数据,一般不保留数据的变动轨迹,是数据仓库体系结构中的一个可选部分;ODS层适合于数据整合度较低、时效性要求较高、适合基于源系统数据结构加工的应用;主要进行短期的、细节的、反映业务原貌的数据存储,直接提供基于源系统结构的简单原貌访问,同时,为商务智能环境中适合的业务需求提供支持。其原则是面向全局,数据整合;模型设计,灵活扩展,并提供规范和共享。服务层利用ODS支持的预警中心数据库,再利用Ajax技术从数据库中读取数据,最后配置Highchart/插件,实现预警信息决策支持和可视化展示。
3.可视化仪表盘输出预警结果
可视化仪表盘输出采用的软件设计模式是MVC(Model View Controller),即“模型-视图-控制器”的缩写。MVC是用一种业务逻辑、数据与界面显示分离的方法来组织代码,将众多的业务逻辑聚集到一个部件中,需要在改进和个性化定制界面及用户交互的同时,不用重新编写业务逻辑,从而减少编码的时间。可视化实现将预警数据和图形分离展示,具体显示什么样的图形用业务逻辑来控制,以提高运行效率。本例是利用MVC模式,在采集好预警数据中计算预警结果,并用可视化仪表盘的形式显示出来。
当教师登录学习预警系统时,我们可以通过仪表盘查看学生的课程学习状态。每个数据模块都有相应的仪表盘,具体成绩由系统计算得出。当教师点击仪表板上的成绩时,仪表盘将会显示学习者在该模块的学习历史记录。课程学习的预警结果,将根据各个数据模块指标的权重进行计算得出,并进行可视化输出。我们以60分为基准点,60分以下表示预警,60-70是轻度预警,70分以上表示在安全区域,没有预警。
为检验系统的可行性和有效性,我们以某高校专业核心课程《数据库原理与技术》为试验对象,以学生档案数据、课堂学习表现数据、网络学习平台数据等为数据源,并将样本数据划分为训练样本和检验样本,应用该预警系统进行实际分析、系统预警总评结果,如图6所示,我们可以看出李文在红色预警区。基于以上分析结果,结合学生的实际学习成效,我们通过预警发现,学习者在课程学习表现上存在学习风险,这说明系统分析有较高的效度。
通过该预警系统,我们可以快速识别出在课程学习结果表现方面存在风险的学生,而且能够对学习过程中的低效学习表现指标进行分析,找出学习过程中的薄弱点,为后期教师开展精准教学干预提供参考依据。此外,结合教育大数据实时更新的技术特征,系统对学生的数据进行过程监控和更新,根据学生一段时间学习任务和学习评价结果的改善情况,对其预警状态进行更改,可以形成对学习表现的常态化和阶段性监测。
尽管预警系统在一定程度上能够识别出课程学习风险的学习者,但在数据量和分析算法上还存在一些局限,具体包括:(1)数据样本量影响预测精度;建立有效的神经网络需要较大规模样本,从而训练出较高效度模型;当前的分析数据主要以小样本为主,数据量有待进一步扩充;(2)预警指标权重设计需进一步优化;当前的指标设计主要基于已有数据和模块分析得出,在模型拟合度上还存在偏差,需要进一步扩充训练样本量,通过数据模拟出最优权重;
预测分析算法的局部最优问题,影响系统整体精度;后期仍需要对不同预测分析法进行比较分析,使模型的求解过程从局部最优收敛到全局最优。我们将进一步优化预警算法和参数设置,以提高系统运行的可靠性与稳健性。
六、结语
学习预警作为学习分析过程中的重要环节,为学习干预提供了科学依据,而自适应技术、人工智能和数据科学的发展,使得学习预警更加智能化和精准化。当前学习方式的多样化和学习数据的分布化,决定了要对不同学习环境下的数据进行整合分析。
本研究对学习预警系统的理论模型和基础技术框架进行了设计,并通过Oracle数据库、ASP.NET语言、Microsoft.Net等进行技术实现,提出了混合学习环境下面向课程的学习预警系统。后期,我们将进一步在教学实践中进行应用,探索不同学科下的课程预警效果,并对预警的精准性和用户体验进行迭代优化,以提高该系统的运行效度和鲁棒性。
本文转自微信公众号“MOOC”,作者牟智佳。文章为作者独立观点,不代表芥末堆立场。
2、芥末堆不接受通过公关费、车马费等任何形式发布失实文章,只呈现有价值的内容给读者;
3、如果你也从事教育,并希望被芥末堆报道,请您 填写信息告诉我们。