近来风生水起的慕课是在线教育的高大上，扬言要颠覆整个大学教育。但说来2012年才被定位慕课元年，至今仍不过二余载，许多人还弄不清慕课和几年之前各影碟摊儿可以买到的公开课有神马区别。当然，慕课和公开课确实有相通之处，都标榜名校名师名课。但是慕课野心更大，或者说比公开课再进了一步：慕课要提供的不只是名师讲座的录像，而是要提供一个完整的教育体验。

“教-学-测”完整的教学体验

那什么是完整的教育体验？其实教育界也还在跳大神，众说纷纭。从一个比较传统角度来说，完整的教学体验，至少要包含一整个“教—学—测”的周期或者是不断叠加这个周期。传统的公开课，完成了“教”，缺少了“测”，而对于有没有“学”则是未知。慕课和公开课的一大差别，就是慕课引入“测”这个环节，试图提供给学生一个完整的教学体验。如果少了“测”这个环节，那么慕课除却名师名校的头衔，与优酷视频或者信息性的网站也没有什么区别了。

测评作为教育体验中非常重要的一个环节，其作用不仅是在于给学生一个分数或者名次，而是通过测评，了解学生对所需技能和知识的掌握情况，教师和学生自己可以调整教学方法。测评不是结果，而是融于教育过程之中，可以说测评也是一种学习，这也是我们说的形成性测评（formative assessment）。

大规模机器化测评

但是如何“测”确实一个很大的难题。慕课公开和大规模的本质，让学生老师比例发生了质的变化。在我们为“大规模”感到兴奋时，不容忽视的是，学生接触老师的机会急剧减少。如果没有新的措施与方法，这会极大的稀释教育体验。从“测”的角度来说，如果学生老师比例是10比1，那么老师可以给学生的作业提供详尽的反馈，与学生沟通了解学生的学习状况，从而来指导自己的教学和保证学习成果。但是当这个学生老师比例变成10万比1，传统的完全由人来完成测评反馈就变成不可能完成的任务。

那么补救方法有哪些呢？目前比较常见的有：有正确答案的选择题和填空题；自动作业打分；同学打分；自我评价；反思性小组；评论等等。其中用的最多的要属选择填空题，自动作业打分以及同学打分。在这篇文章中我们首先来聊聊前两种大规模机器化测评方式。

有正确答案的选择题或者填空题测试

这是我们熟知并且在线上和线下都是运用最广泛的测评手段。而这个绝对是机器测评的拿手好戏。对于10个同学和10万个同学，对选择题进行反馈，成本基本相似。

但只有选择题的测评是远远不够的，只是说不够，而不是不需要选择题。我们先不说社会科学，就拿最适合选择题或者填空题的数学来举例。如果我们都同意数学培养的不只是计算能力，而是更广泛的逻辑思维和解决问题的能力。那么数学能力，就包括1）识别问题 2）建立模型 3）通过计算解决问题 4）诠释计算结果 5）将结果与他人沟通和解释的能力。而我们最常用的选择题或者用于数学测试的计算题，只能检测第三种能力，而忽略了其他几个步骤。

虽然计算能力很重要，但是这五个能力中机器最擅长的也就是第三种能力，而其余的能力更需要人的才能。大规模测评中，我们会发现最容易用机器来测评的部分恰恰是机器最擅长做的事。

电脑自动化打分

如果说选择题，我们怀疑的是题目本身能不能测试学生的正真能力。而电脑自动化打分，我们则怀疑这个评分是否可靠。从识别语法错误来说，我们也许还可以接受，也经常在处理文档时运用语法查错功能。但这里说的是从内容上或者整体上给长文章或者短问题打分。假设一下，我们写一篇高考作文，由语文高级教师来评分，我们还会提出作家写的文章竟被判不及格的质疑。而现在电脑通过算法，就能一秒判定你的分数，这对我们大多数人来说，即使不清楚是怎么回事，但从情感上很难接受。

那到底电脑是如何打分的呢？这就牵扯到机器学习。但是简单来说，就是首先以专家按照评分标准来给一定数量的文章打分（比如100篇文章）作为原始数据。而之后电脑对这些专家打分进行“研究”。如何研究？首先是拆分文章，形象的说在人的眼里是一篇文章，而在机器眼里你的文章就是一麻袋的“字”。电脑程序会计算这些“字”，以及“字”与“字”之间的各种搭配，以及对应分数这些变量，形成了电脑打分的依据。这样，电脑就能自动给文章打分。 简单了解这个过程之后，可能大家更加没办法接受电脑打分，因为电脑打分从本质上违背了人类打分的机制。人首先阅读，然后理解意义，之后给予反馈。但是机器却没有我们传统认为的“理解意义”这一步。

但它是否有应用的价值？ 我们承认机器测评有局限，但是不容忽视它可以解决大规模而带来的成本问题。另一个好处，就是可以及时反馈和不断提交作业得到反馈，这些对于传统的由人来打分是做不到的。写一篇作文，老师的评价可能要一周之后才能拿到，学习热情在这么长的时间间隔会急剧冷却。又或者我们很难要求老师不断地给我们的作业修改打分，但是电脑却可以做到这一点。一道题目，我们可以根据电脑的反馈不断修改，不断提交得到新的反馈，直到我们满意。

下一篇我们会聊聊同学打分（peer assessment）这个同样在MOOC大量运用的测评方式。