美国教材评价标准的指标和方法——以《优质教材工具为例》

为更清晰展现《优质教材工具》关注的重要问题，我们将上述内容概括为表1。

表1  《优质教材工具》各关卡评价维度

三、教材评价方法的选用：强调以严格规范的程序开展“基于证据”的教材评价

（一）明确评价实施程序，提升评价过程的规范性

教材评价是一个复杂的过程，可以多种不同的方式进行。但近年来学者们普遍认识到严格、规范的评价程序是教材评价标准建设的重要组成部分。那种评价小组中各自为政的评价方法和完全凭主观印象进行的“30秒评估”［14］等都给评价结果的可靠性带来了巨大的隐患。为保证评价过程的科学和规范，《优质教材工具》在评价文件中明确规定了教材评价的实施程序。

《优质教材工具》将评价的程序分为四步，其中第二步和第三步是依据前文提到的三个“关卡”对教材进行评价。具体实施程序如下。

第一步，回顾每个关卡的指标。教材评价人员在评价工作开始前先要阅读教材评价标准文件，并接受一定时长的培训，以尽可能提高对评价指标理解的一致性，保证评价工作的顺利开展。

第二步，依据指标对被评价教材打分。《优质教材工具》对大部分指标提供了三个可供选择的分值，由评价者根据其对被教材的评判给出分数。但各指标的三个备选分值不尽相同，如关卡1中“文本复杂性和质量”维度下有六个指标，前四个指标的备选分值是0分、2分和4分，后两个指标的备选分值为0分、1分和2分。我们认为，不同的备选分值体现了教材评价标准研制者对“哪些教材特性需要给予更多关注”［15］的预设，将教材评价标准中重要的组成要素之一——“权重”系数隐藏在了其中。而前文提到的“电子教材支持有效地利用技术来加强学生的学习，并在适当的时候提请注意证据和文本”等评价指标仅作为考察项目，没有提供备选分值，不计算得分。其可能原因是目前美国尚未就纸质教材是否要配套电子教材做出强制性规定；且不同出版商电子教材开发水平上也还有很大差距。故在目前形势下，强行将电子教材纳入评分项目，势必影响评价结果的公平性和信效度。

第三步，确定各关卡的得分和结果。评价时，每一关卡打分后，都先要对该关卡中各项指标得分进行统计，然后决定是否进行后续关卡的评价。如果第一关卡的得分符合“达到预期”（Meets expectations）或“部分达到预期”（Partially meets expectations）的分数要求，则进入第二关卡的评价，若得分在“未达到预期”（Does not meet expectations）的分数区间内，则终止评价；但在第二关卡，只有得分符合“达到预期”的分数要求，才能进入第三关卡的评价，其余得分情况均意味着终止评价。

第四步，确定教材的最终评价结果。实际评价过程中，步骤二和步骤三之间有着一轮到三轮的循环过程，以完成对被评价教材的评定。完成上述程序后，最终依据各关卡的评价结果对教材做出最终的评判。只有完成三个关卡评价的教材才被认为是“达到预期”的优质教材。

与大多数教材评价标准不同的是，《优质教材工具》不仅统计被评价教材的最终得分，而且还把每一个关卡的得分纳入评价体系，将其作为判定教材合格与否的重要依据。该做法是对一些批评意见提出的在教材评价中单一的总分无法准确反映被评价教材的水平，存在“忽视细节”的弊端而做出的回应。［16］这种既关注结果，又关注“过程”的评价方法值得我们借鉴。

上述评价程序、各指标备选分值和相应评价结果的分数要求见图2。

图2  《优质教材工具》评价程序及指标分数构成图