作者：刘璟，马里兰大学帕克分校教育政策助理教授；Julie Cohen，维吉尼亚大学课程与教学副教授

图片来自BROOKINGS

在美国，全国各地的学区都使用课堂观察来评估教师所展示的教学实践是否以及在多大程度上支持学生的课堂参与和学习。从课堂观察中所产生的数据也为教师提供了有价值的反馈，并促进他们的教学技能发展。在某些情况下，比如华盛顿特区的公立学校，这些信息也被用于高风险的人事决策，包括是否让教师留任。

衡量教学实践的挑战

然而，以统一和公平的方式衡量“好的教学”并不容易。原因之一是教学不是静态的。教师如何教学取决于教学内容和课程目标。例如，我们可能希望在一些课程中看到学生之间的扩展讨论，以及在引入新的课程内容时教师有更多指导。师生互动也会在一学年的过程中不断演变。然而，大多数教师一年只被观察一到两次。教学的动态性使得仅从几节课来描述教师的教学具有挑战性。即使这些观察到的课程可以捕捉一名教师的“典型”或“平均”教学，基于这些信息的反馈可能也没有那么有用，因为教师在11月需要给学生提供的支持可能与她在5月需要的截然不同。

典型的课堂观察政策的另一个复杂之处是，良好的教学实践并非都是可见的。课堂观察员可能会发现，在繁忙的教室里，跟踪和评估所有重要的教学互动十分有挑战性。即使是专业的、训练有素的研究项目评价人员也很难同时跟踪多个教学行为，最终只会优先考虑教学的那些容易观察到的方面，但它们在支持学生学习方面可能不是最重要的。在实践中，学区主要依赖校长进行课堂观察，但他们通常缺乏培训、时间紧张。时间和资源的限制是一方面，另一方面，校长们倾向于使用小范围的分数并且不愿意给教师打低分，这使得从典型的课堂观察政策和实践中客观地衡量教学质量变得更加困难。

新的分析方法可以为有效教学提供新的视角

最近的技术进步为有很强局限性的基于人的课堂观察提供了一种潜在的有益补充。在我们新发表的“教育评价与政策分析”(Educational Evaluation and Policy Analysis)论文中，我们着手测试这种可能性。我们的想法很简单：既然语言是许多教学互动的核心，我们或许可以利用计算机的力量来分析课堂话语的语言特征，并直接得出教学实践的衡量标准。如果这样的自动化措施被证明有与传统的课堂观察同等的甚至更优越的测量特性，与基于人来评价的系统（human-rater-based system）相比，它就有可能以更低的成本和更大的规模为教师的教学实践提供更一致和更频繁的信息反馈。

事实上，在其他许多研究领域，文本即数据（text-as-data）的方法，或自然语言处理(natural language processing)，已经被广泛应用于研究对话特征，如那些可以提高工作面试成功的话语，通过形成有说服力的论点来改变某人的观点，或解决与精神疾病相关问题的对话等等。在教育领域，学者们也成功地应用这些方法研究了广泛的主题，包括高效在线学习环境的特征、教师对学生成就差距的认知，以及学校在改革中所采取的策略等等。然而，在自然的课堂环境、教师评价和改进努力中，这种方法的使用要少得多。

从课堂记录到教学质量的指标

在我们的研究中，我们聘请专业人员转录了“有效教学措施项目”（Measures of Effective Teaching project）中收集的近千个英语语言艺术课堂视频。在这些课程中，258名教师在6个主要服务于少数民族和低收入学生的学区教4年级和5年级。在此基础上，我们构建了两种类型的教师实践指标。第一套衡量方法关注话语模式，比如教师和学生轮流进行对话的频率，以及教师使用分析性语言的频率（例如，反映认知机制的词汇，如“原因”“知道”和“因此”）。为了构建这些度量标准，我们主要使用有关语言来源（如教师或学生）、时间戳（time stamps）、与特定语言类别相关的单词和标点符号的信息。我们构建的第二套衡量标准涵盖了教学中更实质性的方面，比如教师在多大程度上使用学生的语言，以及课堂上有多少话语关注于与教学相关（而不是管理课堂秩序）的主题。

然后我们将这些变量归纳为几种教学模式。考虑到老师们在不同的课上可能会改变他们的教学方式，作为研究的起点，我们为每一位老师的课程取平均值，以了解他们典型的教学风格。课堂话语被归纳为三种类型：一种是课堂管理模式，指的是教师花费大量的课堂时间来建立常规（routines）和管理学生行为；一种是交互式教学模式，指的是教师有许多开放式提问，有丰富的师生互动；还有一种以教师为中心的教学模式，其特点是教师讲的多，学生参与少。

这些教学因素似乎是直观的，但它们真的捕捉到了与课堂观察员的观察相一致的教学特征吗？我们的发现是肯定的。这三种课堂形式与一些普遍使用的观察方案（observation protocols）确定的许多领域和维度一致，这些观察方案包括课堂评估评分系统（Classroom Assessment Scoring System，CLASS）、教学框架（Framework for Teaching，FFT）和语言艺术教学观察方案（Protocol for Language Arts Teaching Observations，PLATO）。例如，课堂管理模式与CLASS和PLATO中的行为管理维度相关性最强。互动教学模式主要与CLASS里的教学支持维度有关，该维度强调教师使用一致的反馈并且关注高阶思维技能以提高学生的学习。以教师为中心的教学模式，代表较不理想的教学实践，与教学对话（CLASS）、建立学习文化、让学生参与学习、使用提问和讨论（FFT）以及智力挑战（PLATO）有统计上显著的负相关关系。

需要明确的是，我们并不提倡单一的、最优的教学时间分配或单一的话语风格。不同的方法可能在整个课程或学年中有不同的效用。这些发现反映了教师课堂上的平均话语风格。

除了将机器生成的测量结果与课堂观察结果相关联外，我们还测试了这些教学模式是否能预测教师对学生成绩的贡献。值得注意的是，以教师为中心的教学因素负向预测了使用SAT-9——SAT-9是一项旨在测量高阶技能的测试——计算的教师增值分数。

新技术可能会为后代改善评估和教学

尽管我们的研究结果表明，文本即数据的方法是一种很有前景的衡量教学实践的方法，但我们的研究只是迈向运用自动化系统来衡量和最终支持高质量教学的第一步。我们构建的教学质量指标是有限的，其精确度也需要提高。即使有了更完善的计算机算法、语音识别技术和更全面的测量指标，学区和学校如想要实施基于文本的系统，也需要先进行最初的基础设施投资，使得能够记录、转录、并在保护语言数据隐私的前提下对课堂数据进行分析，才能从中获益。我们也需要更多的研究来了解校长和教师是如何看待自动生成的教学质量指标并对它们提供的信息作出反应的。

然而，我们的工作表明，使用文本作为数据的方法来补充传统的课堂观察是可行的。一旦这样的系统就位，我们就可以想象这样一个世界：教学的自动化指标实时产生，校长和教学教练将他们的时间集中在帮助教师理解所提供的信息和确定改进策略上。我们并不主张将此类措施用于对教师的高风险评估。然而，为教师提供更多更好的教学反馈可能有助于确保所有学生都能获得一致的、高质量的教学。

本文翻译自https://www.brookings.edu/blog/brown-center-chalkboard/2021/05/17/natural-language-processing-may-provide-a-new-perspective-on-effective-teaching/

原文即将发表于Educational Evaluation and Policy Analysis。

工作论文版本见https://www.edworkingpapers.com/ai21-369

北京大学中国教育财政科学研究所

第一所专门致力于教育财政研究的学术机构

本文转载自微信公众号“中国教育财政”（ID：CIEFR-PKU），作者刘璟、Julie Cohen。文章为作者独立观点，不代表芥末堆立场，转载请联系原作者。