作为自适应学习平台Knewton的系统是怎么运作的

昨天的《从教学生应试到适应性学习平台，Knewton的转型之路》分享了Knewton从做内容教应试转型到平台的发展历程，本篇来分享Knewton的系统是如何运作的。

Knewton所做的是基于规则的自适应学习

自适应在很多学习环境中都已经用到，最早的几十年前就已经说了自适应。到底自适应是什么意思，现在我们讲的是基于共识的自适应概念。

最简单的一种就是学生自己定步调，决定学习的节奏。但他们的学习材料和顺序还是一样的。现在市场上得MOOC就是这一类。好处就是如果学生学会了，可以很快的往前进。问题是很多时候学生已经知道了，但学生不能跳，也不让学生选择不同的学习路径。

另外一种叫做单点自适应产品。这种自适应就是预先已经有设定好的路径，学生上课之前就会测评，看他应该选择哪个路径，有时候学生可以更提前一些。

第三种就是基于规则的自适应学习。这基本就是在系统里加入这些规则，来决定学生下一步应该学什么。比如说学生80%题目做对的话就可以学习下一个概念。目前市场上绝大部分号称自适应学习产品的都属于这一类。有些系统规则比较简单，有些就比较复杂，有各种各样的规则。这就是knewton目前所用的，最复杂的，基于规则和机器学习的系统。

knewton的系统是怎样运作的？

首先系统里有成千上万个模块的学习内容包括视频、问答、题目等，knewton要提供下一步推荐的话，实际上是要解决这个问题：系统里有这么多内容，此时最应该呈现给学生的知识是哪一个？里面用到一些统计分析的模型，来判断哪些适合学生来学习。系统会给每一个内容打分，然后根据分数排序，来决定学生下一个该学习的内容是什么。每个模块里的内容可大可小，有可能是一个小问题，也可能是一个学习活动，这和很多互联网公司为用户做的推荐是一样的原理。而给内容打分的一个很重要的基础就是知识图谱，以及他们之间的相互关系，这个图让系统更好地决定哪个内容是最适合学生学习的。

什么样的内容更适合自适应学习系统，这其实与目前各种各样的自适应学习技术相关。总体目标还是让学习更有效，效果和效率。首先是你设计的系统要能够记录下学生学习认知的有效数据，给学生推荐下一步学习内容应该是比较灵活的，满足不同学校的不同要求，保证学生能够投入进去，专注于学习。学生应该学习什么样的概念和内容，这叫做学习目标，表现形式是学生应该要做这个。还有这些概念、想法之间要有什么关系，这里面其实有各种各样的内容，最核心的是找到哪些是有从属关系的。还要看学生必须要按一定的顺序学，还是是否有灵活度可供选择。最后，如果内容变了，系统能不能把这个考虑进去。传统印刷出版行业的内容更新是不频繁的，数字环境要改动环境会容易很多，所以设计的时候要搞清楚你更新的频率有多快，更新什么样的内容，对你的系统有怎样的影响。

比如知识点颗粒度的大小，对系统推荐下一步的影响。听起来像尝试，但对设计内容非常有影响，就是你的颗粒度要细分到什么程度。首先我们可以想象一个小测试，它包含的知识点有三个xyz。想象学生在小测试中的分数是前65%，从这个数据来说，学生对这三个概念只是部分掌握了。然后我们就得问这个问题，学生下一步该学什么，可能性是很多的。我们的系统可以确定哪一个学生某个知识点掌握的怎么样。当然这是一个简单化的例子，两三个问题不可能系统地确定学生掌握的怎么样。像这个例子我们可以说，X掌握的已经很好了，学生可以直接学Y和Z。这样系统推荐的学习范围就可以缩小。这样就可以把你的知识点颗粒度降得很低，也让学生觉着学习的整个过程是看得懂的。而有些学习产品的问题在于太灵活了，好多学生不了解这个过程。在理论上可以看到是最有效的学习范畴，但事实上学生需要知道学习的整个背景、路径是什么。

怎么测量学生的水平？

首先掌握学生的学习数据，同时把学生的学习进程和老师进行沟通。以前我们如何测量学生的水平呢？最传统的就是考试，没有考虑题目的难度、质量和区分度，需要多次测试。你很难知道题目到底有多难，以前可能一个课程设计师会自己去猜，看这个题目到底多难。但是如果有大量数据的话，就可以精确地分析这个题目难度到底有多大，把难度考虑进去之后，做对一个难题，学生对一个知识点的掌握就会高一些。

传统的每一个题目可以写出步骤。这样去测试，有多个步骤的题目，猜对答案的可能性就小很多。如果只是对或错得题目，学生不会也有50%的几率猜对。学生与这些交互，系统有大量这些数据就会越来越清晰，学生对这个的掌握到底怎么样。比如Gmat机考就已经把这些考虑进去了。gmat这个测试是非常高效的，学生在很短的时间内就可以完成这个测试。现在就可以测量学生的水平，不光是在一次测量，而是跨越时间段，你的水平如何。我们以后甚至不需要特殊测试，就可以知道学生对某一个知识点处于什么样的水平。这对未来有什么意义呢？这听起来有点像科幻电影，但有很多都是会实现的。我们现在可以在考试之前就可以知道学生的水平。以后我们可能不需要很多测试，测试可以去测更多更高的东西，比如批判性思维，或者更高级的东西。自适应学习已经实现了个性化教学，知道学生会哪些，不会哪些。在里面会做很多模拟，看他们哪些能做对，哪些不能做对。

最后其实就是测量有效性，这么多自适应产品，到底对学习有没有效果。这是非常重要的问题，同时也是难以回答的。现在很多出版商大部分的经费都花在了市场营销上，当我们有更多学习的数据的话，就可以知道哪些产品真的对学生的学习是有效的。做这些对公司来说越来越重要。现在这有一个样本，培生以前花了很多钱在市场营销上面。现在他们开始重视结果了，做了一个测量结果的框架（参考芥末堆对培生学习效能研究负责人Adam Black的收集）。

Q：学习过程中系统需要学习哪些数据？

A：题目答得对错，在题目上停留的时间，这个是比较难精确地测，有可能他去干了别的。最核心的就是做对还是做错。

Q：推送的内容是否也要打相应地标签？

A：刚开始是可以打标签的，慢慢地标签数据会越来越精确。

Q：核心标签都有什么？除了难度区分度？

A：最重要的标签除了难度，就是要让系统知道不同内容的相互关系是什么。内容上有标签的话可以过滤一些内容，让学生去学相关的。这样你可以把内容打上粘接的标签，告诉系统在这个时候你只看了1到5章的内容。这只是一个例子，根据我们的经验来说，没有真正的公式能够把所有标签都结局。

Q：如何把问题输入系统中去？

A：首先做个excel表，通过知识图谱来定义问题对应的知识点，定义到系统中去。有些公司可能专门做一个页面火花网站，可以建立内容之间的关系，输入到系统中去。这是个很耗时的过程，有些机构想尝试如何把输入做的更自动化一些，现在整个技术还只有几年的功夫，接下来我预见会有更自动化的技术，把输入的成本降低。

Q：那对于主观题如何处理？

A：全部都是客观题，一个系统能够跨越很多个阶段，现在Knewton已经能从幼儿园到高中毕业。一个可以实现的场景是，一个学生在十年级的时候做错了一个题目，系统会判定他是否需要巩固二年级的东西。要做到这一点就要做一个很大的知识图谱，这个知识图谱要涵盖所有这些年级，并且显示知识点之间的关系。我们第一期产品是初中数学，到第二期就已经扩大到小学和高中了。之后又推出一个直接面向家长的产品，把其他数学产品整合起来。刚才没有提到的是，培生还需要提供数据给教师和学校管理人员，这样教师就可以查看学生在学习过程中哪些概念掌握得怎样，还可以预估分数，看学生按现在的水平参加考试的话会得多少分。培生的模式是其中一个，还有很多类似的模式的客户。现在Knewton在做一个系统，你有适合做自适应的内容，就可以去做出自适应的系统出来，现在老师和学校可以免费使用。

Q：一个问题里面有多个概念的话怎么处理？

A：这个问题很好，但是最好还是能清理到一个问题只与一个概念相关。还有一种方法就是出题目，每一个选项代表不同的学习概念，学生选不同的选项，就可以代表学生哪里没有掌握。

Q：如何确定颗粒度的点？

A：其实就是掌握平衡，每个知识点可以按照要掌握的技能来不断地去分，但有个悖论就是其实没那么多内容，像一个大学课本的话，整个课本有十个主要的概念。

Q：知识点如何分组？

A：这是一个试错的过程，要让学生看到在学什么，自己处于什么位置。就像小孩坐车，比较长的话就会问还有多久到，要到哪儿，类似于人的本能一样。

Q：对学生进行建模，并对知识点进行排序，这个模型有没有评价机制？如何评价你的排序算法？

A：Knewton有专门的数据团队，要做实验的。去看目前的推荐机制，学生的成绩能够提高多少，来看你的算法是否有效。

Q：你们的系统是否做过有效性验证？

A：目前有效性这块，中小学这块还没有出结果。大学这边，亚利桑那州立之前公布过官方数据包括通过率（如下图所示）。