ACM CHI 2021 有趣论文摘选： 数据驱动的选课工具

发布于 作者:

选课对于大学生来说是一项重要的活动， 它直接影响了学生的平均学分绩点（GPA）好不好看，工作量大不大，在某些国外高校，选课还会跟学费有所联系。然而通常学生都只能通过不完整的、极其有限的信息去选课（比方说通常只能通过课程简介和教师名气去估计），以至于选课过程存在极大的主观不确定性，而且还非常耗时。针对此问题，INRIA（法国自动化研究所）的大佬联合埃斯库埃拉高级政治学院（Escuela Superior Politécnica del Litora, 下文中简称 ESPOL）的老师们做了一个研究，在ACM CHI 2021发表了一篇论文：Showing Academic Performance Predictions during Term Planning: Efects on Students’ Decisions, Behaviors, and Preferences ，该论文描述了一款数据驱动的交互式选课工具iCoRA，该工具可以通过历史数据预测学生成绩，帮助学生以适当的工作量获取更好的成绩。同时这种预测也会带来一种心理暗示，促进学生在所选的课程中投入更多的精力。

交互式选课工具iCoRA的研究处在learning Analytics(LA，学习分析)、Education Data Mining(EDM，教育数据挖掘)和Information Visualization(InfoVis，信息可视化)三个领域的交叉点，属于Academic Advising(学术咨询)工具。该领域已经有一些类似的软件，如LISSA使用历史数据预测学生在预期时间内毕业的概率，LADA预测学生不及格的概率，这些都是面向学校管理人员的软件，但直接面对学生的工具还较少，而ICoRA就是其中一个。

在具体研究过程中，iCoRA与埃斯库埃拉高级政治学院（ESPOL）合作，参与了其课程推荐项目。ESPOL是拉丁美洲厄瓜多尔的一所有名大学，有1万多名学生，32个专业院系。与iCoRA合作进行的研究侧重于ESPOL的计算机科学（CS）课程，该课程由41门课程（104学分）组成。其中37门课程（96学分）为必修课，其余4门课程（8学分）为选修课。iCoRA通过整合ESPOL的可用数据进行选课结果预测，包括学生的成绩和有关课程的数据，如工作量、学分数、先决条件和历史表现。

iCoRA首先提供了一个课程视图，将学生的学术课程显示为一个课程网格，如同国内高校的培养大纲一样，每门课程都有其先修课程的链接（图1a）。课程分为四类：基础科学（橘黄色）、专业培训（蓝色）、人文学科（粉色）和选修课程（淡绿色）。学生已修课程的成绩会显示在课程矩形的右下角，绿色表示通过，红色表示不及格（0-10分，6分及格）。重复的课程被描述为一组堆叠的矩形（如图1b）。点击课程视图中的课程，显示课程的一般信息和历史信息（图1c）：学分数、每周工作量、差异估计器（课程评分标准α和评分严格度β，具体定义参考Jonathan P Caulkins, Patrick D. Larkey, and Jifa Wei. 1996. Adjusting GPA to Refect Course Difculty. (1 1996). https://doi.org/10.1184/R1/6470981.v1）、成绩分布和历史表现。该数据可以通过时间范围滑块过滤（图1d）。这有助于探索课程的演变，并支持学生根据最新数据做出决策。

图1， 整体界面介绍

iCoRA还为学生提供选课后的成绩预测。在预测模式下，可以将课程视图中的一个或多个可用课程拖到成绩预测面板（图1e）上，这个交互会触发iCoRA预测模型执行，并更新面板的内容。每个科目的预测模型基于历史数据（学期工作量、先前成绩、失败历史和累计课程成绩）使用梯度提升树（GBT）进行训练。根据ESPOL的评分系统，每门课程的成绩预测被描述为0到10之间的分数（图1f）。在预测面板中添加课程和删除课程时，学生的GPA结果也会以预测区间的形式展示（图1g）。

iCoRA每个预测右边的按钮why（图1i）对模型的预测做出了一些解释（如图2）。图中解释了模型输入特征对其输出的相对贡献。iCoRA提供了这些解释，以便学生能够弥补短板加强长板。例如，降低得不好分数的风险的一种方法可以是降低课程的整体评分严格度（β）。这可以通过注册更少的课程或选修更简单的课程来实现。

图2，关于课程成绩预测的解释说明，通过点击图1(i)位置的why按钮打开

当然证明此软件的实用性还得靠用户研究。研究人员邀请了ESPOL计算机科学系12名各个年级的学生作为志愿者参与了评测，让他们试用iCoRA辅助进行必修课选择。学生对于iCoRA的课程历史信息查询和GPA预测功能都很赞赏。这让学生选课不必询问其他同学就能获得课程声誉的总体印象，并且有助于学生通过选择合适的课程来提高GPA成绩。不过必须指出的是，在存在成绩预测的情况下，学生往往将选课视为一个成绩最大化问题，同时忽略了面临的工作量和所选课程的难度。此外，关于预测的解释(如图2)大多数人最多打开看一次，常见的评语是看不懂、文字太多了之类。在大多数情况下，参与者对理解工具内部发生的事情不太感兴趣。

图3，用户研究实验1中参与者对主要问题的评分

为了更好地了解iCoRA的成绩预测如何影响学生，尤其是当改变可视化展示方式时，是否会影响学生的选课决策和行为。研究人员又设计了实验2，还是邀请ESPOL计算机科学系的学生作为参与者，让他们从几种教学的计划中选择课程，使用不同的可视化方案展示成绩预测（当然也设置了不展示成绩预测的对照组），然后观察学生的决定（所选课程的数量、平均预测成绩、平均工作量和和总工作量）和操作过程（包括调用iCoRA预测解释的次数、打开预测解释的时间等）。最终得出结论如下：

  • 至少对于单门课程，预测成绩不会产生让学生追求成绩最大化效应。但这是没有展示单门课程成绩对GPA的影响的情况下得出的结论。
  • 学生的决定和操作过程确实会受到预测成绩的可视化类型的影响。当学生接受可以预测的成绩时，他们会在选课任务上投入更多的精力——反复地在iCoRA中进行交互和计算以做出决策。特定的预测成绩可视化效果会使学生倾向于更乐观的预测和更轻的工作量。相对于数值模糊的可视化方式，如脸谱图（图5i）等，学生更喜欢精确的、文字化的描述（图5h）。
图5，用户研究实验2中对于成绩预测的不同可视化效果

当然，必须要说明的是，iCoRA涉及一个重要伦理问题：只根据学生的GPA成绩来决定学生的课程安排是否可靠。在教育学领域，成绩预测被认为是对学生潜力和自我效能的潜在威胁，必须谨慎对待。因为在学生的学术环境之外，存在基于GPA的预测模型无法解释的因素（如课外活动、家庭问题和健康问题等）。因此，整个预测过程只能是辅助，不能完全替代人工。所以iCoRA并不寻求取代导师或辅导员。相反，它旨在通过数据驱动的方法支持和促进学生与他们的导师或辅导员对话。导师和辅导员不仅应该推荐可以修哪些课程，还应该为学生提供指导，让他们在决定入学时考虑哪些标准。通过iCoRA为代表的交互式可视化技术，可以让学生、导师和辅导员根据数据反复迭代地做出决策和执行分析任务，从而更好地做出决策。

iCoRA系统中考虑的主要要素就是课程成绩和工作量，以及课程成绩对GPA的影响。这些参考值还是较为简单，如果能收集尽可能多的数据，有助于改善此类工具和整个教育评价方式。例如，学习成果的发展、参与程度、学生的学习风格或教学偏好等。但遗憾的是目前用于预测的核心指标还是只有GPA。所以这项工作的一个有希望的未来前景是，与决策者就可在高等教育学院收集的其他绩效指标展开对话，以进一步增强学生和辅导员使用教育数据的能力。