原文:Towards AI-powered personalization in MOOC learning. 作者:Han Yu, Chunyan Miao, Cyril Leung and Timothy John White. 来源:Science of Learning. 译者:玉镯. 编辑:尔瑞.
MOOC(慕课)所代表的大规模学习正在改变高等教育的形势。我们专注于新兴的AI技术,包括如何让“知识表示*工具”帮助学生调整学习顺序,以适应自身的需求;优化技术如何有效地将MOOC的主导任务与社区助教相匹配,以便关注到学习者个体;具有人性特征(如好奇心和情感)的虚拟学习伙伴(VLC)如何大规模地提升学习体验。这些新功能将为教育研究人员带来新的机会,分析学生的学习技能,揭示不同背景学生在学习过程中的哪些节点上可能需要不同的帮助。本文亦讨论了在MOOC教育研究中应用AI的道德考量。
(*译者注:“知识表示”是人工智能领域的一个术语,关系到人类应如何储存和处理知识,以让程序能够处理这些知识,并最终达到人类的水准。)
引言
MOOC(即慕课,大规模开放在线课程,以下简称MOOC)是一项挑战传统教育模式的颠覆性技术,它使成千上万的学生能够以极低的价格甚至免费学习大学课程。MOOC能够覆盖世界各地的海量学习者,对开放教育*有着十分积极的影响。 然而,在保持质量的同时扩大班级规模并不容易,也存在许多问题。通过MOOC进行的沟通和信息传播,受限于学习者之间建立的联系:既包括课堂上的联系,也包括在其他社交网络中建立的联系。学习者经常抱怨当前的MOOC无法提供足够的实践经验,以帮助他们将概念和想法转化为实践技能。许多MOOC的完课率依然很低。
(*译者注:开放教育,即不设录取成绩要求的教育,通常在线上开设。)
如今,众所周知的是,要通过MOOC进行有效学习,就要采用与面对面学习不同的教学法。为了迎合不同背景的学生、实现有效学习,个性化就显得尤为重要。在MOOC课堂上,学生通过与在线学习内容进行互动,会产生丰富的学习行为数据。多年来,人们一直在寻找方法,利用人工智能(Artificial Intelligence,以下简称AI)技术从这些数据中挖掘价值(比如,鉴定出哪些人可能会早早退课,以便把更多精力放在更可能留下来的学生身上)。然而,AI在MOOC中的应用并不总是那么简单。主要原因可能是,目前的MOOC教学更注重标准化,而非个性化。从学习内容到考试,今天的MOOC很大程度上都更像课堂教学,学生只能去适应预定好的参数,留给个性、创造力和批判性思维的空间很小。
Coursera上“deeplearning”(深度学习)课程列表(图源:Coursera官网)
由于MOOC平台(如Coursera和edX)上许多课程的学习行为数据尚未向AI研究人员开放,因此该领域现有的AI研究主要依赖于以特定方式发布的、特定课程的数据集(例如KDD Cup 2015竞赛*数据集)。为了支持MOOC教育领域的开放科学**,MOOC平台需要与教育工作者和AI研究人员共同合作。
(*译者注:KDD Cup,国际知识发现和数据挖掘竞赛,一项数据挖掘研究领域的国际顶级赛事。KDD 的英文全称为Knowledge Discovery and Data Mining。)
(**译者注:开放科学,即旨在推动科学研究和数据向全社会所有人士开放的运动。)
个性化的学习活动
作为电子学习的一种形式,在线资源的使用给了MOOC一条自然的途径,为学生提供个性化的学习机会。例如,使用与课程材料结合的在线小型图书馆,可以让有兴趣的学生深入探索相关话题。目前MOOC具有固定的课程结构,比如,课程设计者会预先规定好视频讲座和相关学习活动的顺序。在有些课程科目中,不同主题间有明确的依存关系(比如数学中通常先学加法,再学减法)。对于这些课程来说,让所有学生都走同样的学习路径是有好处的。然而,对一些进阶课程(如人机交互)来说,不同主题间的依存关系并不是很明确。由于MOOC课程通常是大学水平,许多都属于后一类课程。对于这类课程而言,给学生更多自由,让他们根据个人情况(如背景知识和时间限制)去接触学习内容,而不必严格遵循预定好的顺序,可能更为有利。亦有证据表明,在电子学习环境中,学生接触学习内容的顺序也能让教育工作者获取一些有益的信息。
为了使将来的MOOC学习者能够灵活个性化他们的学习路径,第一步是要将学习内容细化为精细分割、贴好标签的知识单元。逆向设计技术,即由课程教师决定目标、确定评估标准,而后选择学习活动的技术,可用于开发课程,使课程的学习内容精细分割而又连贯一致。微型MOOC是一种在线学习的新兴趋势,它提供的MOOC课堂使教师能够更方便地进行逆向设计。微型MOOC采用了一种新形式的微课程,内容通常是与特定主题相关的短视频,每个视频的时长一般不超过5分钟,并附有简洁的文字说明。一些主要以微型MOOC来传递学习内容的新MOOC平台,如Curious,Everpath和Pathwright,正在吸引那些学习MOOC的时间较短、较为碎片化的学生(如工作人士)。
Curious官网首页;用户可根据空闲时间长度选择视频
有了微型MOOC作为构建学习路径的潜在模块,下一步需要有简单易用的软件来构建和修改学习路径。此类软件可以选择Goal Net和与其配套的多代理开发环境(Multi-Agent Development Environment,MADE)。这是一款AI知识表示工具,可以对逻辑流进行建模,无需编写冗长的程序代码。基于目标设置理论,Goal Net允许用户将复杂的过程(如设置一组学习任务)表示为由目标和活动构成的网络。该软件还能追踪目标之间的转换以及目标的实现。图1是一条由Goal Net构建的学习路径的示例,该路径由学习活动(圆角矩形)和学习目标(圆形)组成,这些活动和目标都是《人机交互导论(Introduction to Human-Computer Interaction)》课程中所涉及的。在该课程中,“应用类型与动机”、“通用可用性”、“行动理论的7个阶段”、“8条黄金法则”和“指导与原则”这些主题之间没有强烈的相互依存关系,可以以不同的顺序进行学习。学习活动的形式可以是微型MOOC、小测验、论坛讨论,以及其他的教学形式。
图1 使用Goal Net为《人机交互导论》课程建立学习路径。图中所示的软件由拥有版权的作者创建。
同时使用微型MOOC和学习路径构建工具(可以是Goal Net,也可以是其他类似工具,如Belief-Desire-Intention(BDI)模型),教师就可以迅速建立起一套包括细分学习内容和活动的通用教学大纲,并可以灵活更新这套大纲。对于主题之间依存性不强的课程,可以将学习路径构建工具开放给MOOC学习者使用,以便他们个性化自己的学习路径。这不仅有助于学生在课程期间追踪自己的个性学习路径,而且这么做本身也会形成一种知识表示的格式,能够以机器可理解的方式来记录各种不同的学习路径。当我们用机器学习去分析这些个性学习路径、学生的背景信息、学习成果(这些信息在现有的MOOC平台上已有记录)之间的相关性时,我们设想出的这一机制或许可以向教育研究人员提供反馈,指导他们去为不同背景的学生制定各门课程的个性化学习方案。随着时间的推移,这种机制还可以帮助MOOC教育者探知出哪些学习路径能够产生理想的学习成果,据此优化不同课程的学习轨迹。(或许还可以借助其他技术,如行为表型分析和迁移学习*。)
(*译者注:迁移学习是机器学习领域的一个术语,指将已训练好的模型参数迁移到新的模型中,帮助新模型训练,从而优化新模型的学习效率。)
然而,要实现这一愿景,仍有不少重大挑战亟待克服。最关键的一点是,“学习成果”通常难以定义、难以测量。(比如,考试分数高是否能说明学习成果好?)如果学习成果的目标函数没有合适的定义,那么机器学习方法将无法计算出个人学习路径的优化解。此外,由于目前可用的学习行为数据主要来自完成了MOOC的学生,因此,用这些数据训练出来的AI模型可能会更偏向那些表现好的学习者。所以尚需进行更多的研究,以便充分理解这种可能出现的偏见会在多大程度上影响学习者。
如何评估在线学习所获得的个人技能?
可以说,目前MOOC平台的设施旨在帮助学生更有效率地“学习事实”,而非“获取技能”。这种设计适用于以知识(包括事实、理论和公式)为重点的课程。对于这种类型的课程,课堂小测和考试的分数可以客观地评估学生的学习成果。然而,有些课程强调的是技能(即知识的应用)。对于学生需要掌握技能的课程,MOOC平台现有的内容传递和评估机制就不那么适用了。规则框架是围绕学生在学习任务中的表现所制定的,这在一定程度上可以反映学生的学习技巧,但并不是全部。课程教师和学生之间的交互、上同一门课程的学生之间的互动,都可以生成复杂的行为数据,用于分析学生的学习技能(例:21世纪的学习技能,如团体合作、时间管理和批判性思维)。分析结果可以补足基于小测/考试的评估结果,以支持智能干预机制的运行(例如给出实时提示或反馈),或提醒课程教师注意学生在某些学习技能方面的弱点。
图源:unsplash
目前,MOOC平台为教学设计者提供了几种工具,使他们可以在课程里加入与学生的互动环节。这些工具通常包括讨论版、实时聊天窗、小组教室和项目学习。但是,运行这类互动环节需要时间和精力,这对于学生基数庞大的MOOC来说并不可行。还有一些手段可以帮助MOOC教师关注到尽可能多的学生,比如社区助教(Teaching assistant,TA)的参与、同伴评估工具、精心设计的详尽规则(包括对特定内容的反馈和视频反馈)等等。然而,这些互动产生的数据尚未能得到系统收集和管理,暂时无法帮助评估学习技能。
此外,由于要在MOOC中运用哪些互动技术是由课程教师决定的,因此不同课程使用的互动技术也不相同。目前,关于MOOC学习者互动行为的数据并不多。虽然生成对抗网络*等AI技术可以分析少量真实训练数据的统计学分布状态,合成人工训练数据,缓解在模式识别任务中数据不足的问题,但如果凭借为数不多的学习行为数据来训练AI,那么由此生成的数据仍有可能无法与现实完全吻合。
(*译者注:生成对抗网络(Generative Adversarial Network)是机器学习中的一种非监督式学习的方法,通过让两个神经网络相互博弈的方式进行学习。)
由于使用的数据来源于MOOC平台现阶段可用的交互机制,目前,基于机器学习的学习者评估技术所反映的,主要是学生如何与课程交互,而不是学生如何从课程中学习。如果学习者积极使用论坛,则可以运用新兴的主题建模机器学习法,从论坛讨论数据来推断学习者的态度、能力和潜在的技能水平。因此,为学习者创造更多交互机会、让他们展示各种学习技能,将有助于生成AI所需的数据,从而准确评估学习者的技能。
如何用更加AI的方式推动MOOC教学实现个性化?
AI可以增强MOOC学习者的互动,同时生成非常有用的学习行为数据,并通过两种主要方式来促进学习技能的分析。一种是通过优化社区助教的工作量分配,激励人员积极性,促进在线学习者的线下学习效果;一种是通过“虚拟学习伙伴”(VLC)辅助教学。
线下、线上助教双管齐下,让MOOC更加个性化(图源:unsplash)
在MOOC中,社区助教经常会自愿参与。短期来看,应用AI技术可以借助随机优化,增幅并有效利用社区助教的集体生产力。在随机优化过程中,由数据驱动的算法管理可以优化工作的划分和调度。目前,社区助教的招聘规模较小(每门课程通常少于10人),主要任务是主持讨论。然而报告显示,约有五分之四的社区助教拒绝了再次就职的邀请。研究发现,社区助教人数少、留存率低的特点,限制了可以提供给MOOC学习者的交互和关注。在众包领域,基于随机优化并由数据驱动的算法管理方法,已被用于将工作动态地划分给工人,以便公平分配工作量,并实现超线性*的集体生产力,安排休息,调整激励措施,以在博弈论的基础上鼓励工人参与。如果MOOC平台能引进机制,再让与助教互动过的学习者为助教的表现评级,那么这些方法就可以在MOOC中得到应用,扩大社区助教的参与,使社区助教的集体付出更有实际成效。
(*译者注:超线性表示量与量之间的一种变化关系,例如y=a+b*xn(n>1)。存在超线性关系的两个变量中,因变量的变化速率会随着自变量的增大而增大。)
长期来看,要借助AI解决大规模互动学习体验的问题,VLC或许是一种可能的方案。目前,在乔治亚理工学院开设的MOOC课程《基于知识的人工智能》上,就有一名由IBM Watson平台构建的AI助教Jill Watson在回答学生的问题。
虚拟助教Jill Watson;在IBM的的超级电脑沃森平台上运行(图源:乔治亚理工官网)
为了提供可信的互动,VLC需要具备类似人类的特征。研究者在虚拟世界的学习环境中创造出了一名充满好奇的伙伴,来为学习者提供个性化的指导。通过监控学习者的进度,这名好奇的伙伴会识别出哪些学习内容能引起学习者的好奇心,从而保持学习者的兴趣。研究者还创造出了一名记忆伙伴,帮助学习者处理海量的知识。模拟人类从记忆中组织和回忆信息的方式,记忆伴侣会实时帮助学习者回想,有哪些最近学到的知识是与当前学习任务有关联的。为了避免学习者的过度依赖,记忆伙伴与学习者互动的方式是给出一连串越来越明显的提示。还有一名可受教育的学习伙伴,“贝蒂的大脑”,已经被证明可以帮助学习者巩固知识。
借由教中学、议论式学习等教学理论,VLC可以促进讨论、引导反思,从而帮助学习者将所学知识组织连贯。学习者与VLC的互动还可以生成学习行为数据,促进对学习技能的分析。由于VLC原本就是智能的用户界面,它们也可以进行干预,根据分析结果帮助单个学习者提高自身的学习技能。
作为软件代理,VLC可以解决MOOC中的大规模应用问题。然而,出于两条重要的原因,我们认为VLC现在尚不完善。首先,为了有效地促进学生学习复杂的主题,而不仅仅是促进学生回答问题,VLC需要能够进行有意义的对话(包括语音对话和文字对话)。但是,要教会机器像人类一样交谈,比原本的预期要困难百倍。在一场典型的对话中,一方会向另一方发出熟知的信号,以此开始对话。对话双方会共同努力,在共同理解对话主题的基础上构建意义,并不断回放对方所说的内容,与对方最初的意图作对比,来检查对话是否还在正题上。现今,AI对话互动仍旧是有待研究的一大挑战。
今年6月,IBM发明的AI机器人Debater首次打败人类冠军辩手
信息量丰富但表达能力堪忧,宛如一位知识渊博、学富五车,但口舌打结的教授
其次,如果教育研究者希望对VLC与学习者的互动进行实证研究,则必须仔细考虑将VLC引入学习过程会带来的伦理问题。由于VLC研究属于广义上的计算行为科学,因此必须遵循《贝尔蒙报告》*的原则:VLC不得侵犯学习者的自主权;VLC带来的益处应超过其风险;其益处和风险均应公正地平摊给学习者。
因为VLC可以通过学习技能分析和智能干预来帮助学习者采用更有效的学习习惯,所以VLC的这些应用有可能被视为侵犯了学习者的自主权。因此,使用VLC的MOOC平台需要建立获得学习者知情同意的机制。在使用VLC时,可以引入新兴的道德决策框架,以降低不当使用社会工程技术**来说服学习者的风险。也可以在VLC中融入可解释的AI框架,以阐明VLC所提出的建议背后的原理,以便与学习者建立信任。然而,为了遵守道德准则而限制VLC的功能,并不是解决问题的一种好的方式。另外应该进行对抗行为的博弈理论建模,以便了解学习者是否会试图利用这些限制因素来玩弄VLC,使得VLC无法实现其设计目标。
(*译者注:《贝尔蒙报告》是1979年于美国出台的一份报告,旨在保护生物医学及行为研究中的人体受试者,明确适用于人体研究的基本伦理原则。其提出的主要基本原则有三点:尊重个人,善行,公平平等。)
(**译者注:社会工程技术指的是在与他人的合法交流中,运用某些手段影响他人心理,使其做出某些行动甚至吐露机密信息。)
结语
由于MOOC仍然是一种相对较新的学习模式,因此,在研究和开发过程中寻求易于入手的成果(如优化技术和VLC的进步等)是一种合理的策略。本文所讨论的思想可以丰富MOOC的设计经验。如果MOOC平台运营商在其系统中纳入对个性化学习的帮助、更多样的互动机会,以及对由此产生的学习行为数据的分析,并建立恰当的道德监督机制,那么MOOC就可以转型为推进教育研究的测试平台,并最终改善学习。这种技术框架还提供了一种极具性价比的方法,可以将研究结果迅速转化为实际行动。要实现这些目标,MOOC平台运营商的支持将是关键的一步。
>>声明
本翻译仅作了解之用,并非用于学术研究或商业决策。芥末堆海外翻译社群的小伙伴们力求将关键理念与思想更广泛地传播至中文区域,故部分表达可能与原文有所差异。如需使用,请查证原文。
2、芥末堆不接受通过公关费、车马费等任何形式发布失实文章,只呈现有价值的内容给读者;
3、如果你也从事教育,并希望被芥末堆报道,请您 填写信息告诉我们。