杨晓哲：中小学课堂智能分析：从1到100

各位，大家好。接下来我代表国际课堂分析实验室跟大家分享我们团队一直在探索的一个领域：中小学课堂智能分析。我们一直希望把真正的智能技术用到课堂的观察、分析、反馈中，这是我们团队近三年来共同努力的成果。

今天跟大家分享的题目是《从1到100》，意味着我们已经不仅仅是从0到1，我们已经开始走向了更大规模的课堂智能分析。

将技术赋能在课堂分析中，我们可以看到它是有这样的一个指向和价值。我们整体规划的时候，需要有一个数据的标准去解决基于多模态的课堂分析。基于标准，我们才能够结合智能技术展开进一步地分析。第二方面结合了智能技术，我们将不再局限于人力资源或专家资源的有限分析，而是面向大规模的课堂展开自动分析。第三方面，我们不断的寻求数据到证据的关联。希望给一线教师更多个性化、针对性和证据化的专业反馈。这就是我们一直在做的中小学课堂智能分析的三方面。

这一领域并不是我们一家在做，很多企业，研究机构都在尝试，希望我们可以相互借鉴，共同交流与研究，尽可能地实现新的突破，一起打开课堂的黑箱。

虽然今天分享的是从1-100，但是我们没有办法跳过从0-1，所以请允许我简单地介绍我们从0-1的过程。其实从0~1的过程简单来说，也就是：如何让机器读懂一节课。有四个要素，非常重要。第一是我们要建立课堂分析的标准。在崔老师的带领下，我们研讨了很多次，我们觉得当下的中国课堂不仅仅应该指向知识和能力，更应该指向这三个方面，九个维度。我们要关注课堂的效率，关注课堂的公平，以及课堂的民主。每一个学生在课堂上是否拥有学习的机会、互动的机会和程序的公平，学生是否可以参与到自主的课堂中，安全的学习氛围和自主合作的课堂参与之中。

在这样的一个课堂分析的整体框架中，我们不断在寻找数据和证据之间的关联。我们开始去建立一个分析标准，我们建立多模态的数据采集方式，并且研制相应的规则。通过人工打好数据标签去训练算法准确度的提升，使之能够让机器可以自动地展开一些自动分类判断。当然有的时候机器分析并非完美，它有一个准确度的值，还需要人工的修正，形成完整的、准确的证据。在采集课堂数据的过程中，我们也给这样的一个多模态的采集方式建立了一整套标准，包括一个教室里面，它既有前置摄像头，看整个班级的情况，又有后置摄像头，从后往前去记录全班的情况。同时教师整堂课的屏幕实时情况也都完整地记录下来。在这个教室里面还安装了收音的矩阵，我们可以清晰地收到学生在课堂中的声音。在这样的基础中，我们就完成了多模态数据的采集。有了采集之后，我们建立了课堂数据82个标签，分为学生、教师、言语和非言语，一共有82个。在这82个标签里面，我们不断的给数据打向不同的指向，形成数据的标签。

由于时间关系，我重点介绍我们几个已有的分析技术突破。通过课堂的视频的多模态的分析，包括课堂时间持续言语的判断，我们把1节课分为4个时段，教师讲授，师生互动、个人任务和小组活动。一节课这4个时段，我们已经能够通过机器实现90%以上的准确率，它可以自动地对这节课4个时段的时间进行判别。接下来，在师生对话编码上，我们实现了也是今天会议上反复提到的IRE的编码方式，我们也基本实现了机器能够自动的进行识别，也就是机器能够识别教师的提问、学生的回答以及老师对学生回答的反馈，也就是IRE的过程。当然我们更进一步，我们把IRE每一个方面又分了三个水平，比如说I——教师的提问，分了三个水平，I1代表教师的简单提问；I2代表教师的希望学生进行阐释和解释的，但是有一定封闭性答案的提问；而I3代表教师提了一个非常开放式的问题。以此类推，在R和E上我们也做了分类，在这样的一个三个方面9大类上，我们也实现了机器的自动的识别。一节课通过这样的一种识别之后，实际上就已经把一节课从一个非常模糊的状态，到我们已经可以看到这节课里面非常多颗粒度。

既然我们实现了从0-1的这样的一种智能化突破，那么我们就想机器既然已经能够看懂一节课，能够达到80%的整体准确率，我们何不让他去跑更多节课，去看一看我们能不能有更多的发现，或者对于我们当下的课堂研究和分析将会带来怎样不一样的思考。

于是近阶段我们做了一个比较大胆的尝试。首先我们挑选和征集了1000多节语文课，语文课经过筛选，最终到机器分析，包括人工修正。接下来就是一到九年级，每一个年级我们选了112节课，一共就是1008节语文课。这张地图是我们采集和征集过来的这1008节语文课一到九年级分别是112节课的整体采集的情况。

接下来我们就要用课堂智能分析技术对这1000多节课进行分析，大家可以看到这就是1000多节课，非常庞大的数据，28×36，每一张照片都是一节课的一个截图，你可以任意的看任何一节课，你可以看到有些正在教师讲授，有些学生正在发言，有些正在小组讨论，1000多节课显然是很难去靠人工去完成分析的。

我们只能通过机器不断的去打开每一节课的黑箱，去寻找之间到底有什么关联，能不能够看到更多的规律和寻找相关的一些发现。

我们发现了5个现象，今天第一次拿出来供大家一起探讨，这样的5个发现都来自于客观的机器分析后的数据。

我们一起来看一看，这100节语文课，总时长有242万秒，大约是有674小时。这是一个真实的数据，它最终统计出来是这样的一个结果。我们刚才说机器已经可以自动识别这堂课中的时段分布，我们把这1000多节课进一步的汇聚起来，它有这样的一个整体的概况，也就是在这1008节课里面，教师讲授的占比大约是51.79%，师生互动的占比是30.34%，个人任务占比是12.44%，小组活动是5.4%。换而言之，以一节课40分钟来看，它的平均概况是教师讲了21分钟，师生互动了12分钟，个人任务5分钟，小组活动平均值仅仅只有2分钟左右。

第二个现象，我们把刚才所说的教师讲授的时间段分布，师生互动，个人任务小组活动，分年级进行了折线图的可视化呈现。我们可以看到一年级教师讲授是比较高的，但是并没有显著高于其他年级，但是到了八年级和九年级。通过统计，八年级和九年级都显著高于其他年级。也就是随着年龄的递增，年级的递增，教师讲授的占比在这1008节课里面确实呈现一个上升的趋势。这是我们的第二个发现。

第三个现象我们又进一步进行了数据的可视化呈现，还是教师讲授个人任务、小组活动和师生互动，我们把这1008节课浓缩到40分钟内，计算每一分钟的概率，就是说把这所有的课出现的每一分钟的概率浓缩到这一张表中，这样的数值表示就是课堂的第零分钟和课堂的第四十分钟，我们就出来了一个河流图，这个河流图表示在不同时间出现的教师讲授，个人任务、小组活动和师生互动的不同概率。

我们可以看到教师讲授在一开始时段是比较高的概率，后续的概率都是比较平稳的。师生互动一开始比较低，最后也比较低。其实教师讲授和师生互动没有典型的这样的一个形状，但是我们挑出个人任务和小组活动，确实有一些比较有意思的发现，就在我们压缩到一节课的时间段分布中，我们发现这1008节语文课中，个人任务呈现的概率近似哑铃型的分布，在课堂的开始时段和最后时段，个人任务呈现的概率是比较高的。我们可以有很多进一步发现，包括在语文课一开始的时候，老师经常让学生去看材料去画线，最后的时候又让学生去找哪些句子是中心句。个人任务的分布，是这样的哑铃状分布。在小组活动上呈现橄榄型的分布，在课堂的中间时段，教师更容易去布置小组活动。

接下来我们进一步的有一个推演。在课堂类型的典型分布中，我们有两个数值进行转化，一个是Rt值，教师行为占比，还有一个是Ch值，教师行为和学生行为的转化次数，如果转化次数占比越多，它就更偏向对话型的课，如果是教师行为占比更多，它就是讲授型的课，如果教师行为占比更少一点，它就是偏任务型的课，在中间它就是一个混合型的课。

在分析中，我们就可以把每一节课的不同类型，从一到九年级分布在这张图上，我们也可以一目了然的大致上发现一些规律。我们可以看到一年级基本上是混合型的居多，二年级任务型的课慢慢地呈现出来，三年级四年级都还有任务型的课，然后到了越往上走到了七八九年级，任务型的课越来越少，不断地往讲授型的课发展，这是所有的课在这张图上的一个呈现。

最后我们再来看一下课堂中的师生对话，就是IRE的分布。我们可以看到随着年级的上升，确实教师提问的个数，九年级的提问个数显著高于其他年级，八年级显著高于一年级，二年级、四年级、五年级、六年级和七年级。学生回答的个数在八年级是比较多的，是显著高于其他年级的，所以是这样的呈现状况。我们也可以看到今天我们探讨的很多的关于课堂回声，关于教师对于学生回答的反馈，我们可以看到它基本上是提问数量的1/2，甚至是1/3，老师提了一个问题，学生有回答，老师给学生的一个回音，并不是每一个学生回答，老师都有给相应的回音的，有可能是快速的就到下一个问题上。

那么在这个问题的分布上，我们刚才说我们把IRE都分了三个水平，随着年级的升高，我们可以看到八年级九年级在l2让学生去解释问题上，它是有显著性的提高的。但是同时我们也发现一个有意思的现象，在开放式的I3的水平的问题上，九年级的开放式的问题的平均数是最低的，它是显著低于一二四六年级，并且整体呈现波动递减的状况，也就是说随着年级的升高，我们老师好像越来越不喜欢问开放式的问题了，特别是从小学到了初中，开放式问题的比例正在逐渐的减少。

刚才分享我们初步的这5个发现，当然很多发现我们还可以进一步的去思考。所以我们在想当我们可以实现或者说我们不断地在尝试课堂智能分析，从1-100的时候，在这样的一种中国式大规模的课堂数据中，我们去寻找证据，发现现象，也去发现一种客观刻画出来的课程与教学在课堂落地的相关问题。

像这样的一种智能分析的做法，它是更大的数量尺度，但却是更小的数据标签尺度。我们有分析更多节课，但是我们看的每一节课却看得更细，看到了每一个标签，它的更进一步的分布。在这样的一个更大数量尺度和更小数据标签尺度中进一步的去寻找规律与发现。

对于一些规律性的结论，尽管我们现在可以分析1008多节课，比我们过去依靠人力去分析几节课在数量级上多了很多，但是，这1008节课真的有样本代表性吗？我们如何去提高样本的普适性和代表性？如何进行更严格的抽样，更准确的发现，更多模态的求证？刚才我们只是从几个维度去看数量的显著性的差异，我们还可以去挖掘文本，去寻找关联，去关联师生，关联教材，关联课标等等。所以我们需要更多多模态的求证，才能够有更进一步的更有规律性的发现。

这样的一种智能技术，它能用于观察和分析，但它终将会更进一步的用于改进和优化。当我们的老师拿到这样的一节课有二三十页的报告的时候，他就可以不断的自我分析，不断的改进。当然我更想说的是我们正在把1000多节课老师看也看不过来的海量视频，形成一种新的智慧链接。当一个老师要上某节课的时候，它借鉴到的不是一个又一个的视频，它借鉴到的是视频里面更精密的、更进一步地关联，只要输入一个关键词，他就可以看到成千上千节课。在这个主题下，上千万种课堂组织的方式，上千万种课堂提问的方法以及学生的反馈，可以更进一步的去连接智慧，为教学改进打开一片新的天地。

这就是我们实验室正在探索的，期待和大家一起更进一步，不断打开课堂的黑箱，学习的奥秘，教育的智慧。谢谢。

（杨晓哲，华东师范大学课程与教学系教工党支部副书记、副系主任，课程与教学研究所国际课堂分析实验室执行主任，教育部高中信息技术课程标准修订专家组核心成员，教育部义务教育信息科技课程标准专家组核心成员。研究领域包括信息科技、学习科学、课程标准、课堂研究等。）