美国教材评价标准的指标和方法——以《优质教材工具为例》

（二）提供证据指南，形成基于证据的评价

“评价清单”作为目前教材评价活动中普遍采用的方法，虽具有成本效益，能为评价者提供较为全面的评价指导，但一些学者敏锐地指出，现有的多数评价清单由于没有向使用者提供使用指导，带来了使用中的诸多困惑。鉴于此，他们提出，“使用指南是评价清单的一个重要的质量特性”，它不仅可以帮助评价者全面、深入的了解教材评价标准（工具）的特点，而且可以协助评价者之间协同工作，降低评价的主观性。［17］

《优质教材工具》在以评价清单的形式为评价者提供评价工具之时，积极吸取有关学者的意见，配套提供了《证据指南》（Evidence Guides）［18］。《证据指南》中对每一条评价指标分别从“指标的目的”、“相关研究或《共同核心州立标准》的规定”、“证据的收集”、“团队讨论”和“分数”等方面对评价人员使用该标准开展教材评价工作给予指导。“指标的目的”主要是对某条评价指标意图的解释；“相关研究或《共同核心州立标准》的规定”是对已有研究成果或课程标准中有关规定的引用，以体现教材评价是“基于课程标准”的；“证据的收集”为教材评价者提供了依据某条指标对教材进行评价时收集证据的方法；“团队讨论”为评价者提供了用于“自我反思”和“组内讨论”的问题，帮助评价人员更准确的领会有关指标的意图，顺利开展工作。如指标2a，“文本围绕一个或多个话题进行组织，以培养学生独立阅读和理解复杂文本的能力”。在《证据指南》中为评价者提供的收集证据的方法就包括评价者通过“查看教材中的所有文本”、“统计学生需要阅读文本的数量”或通过“回顾研究项目并完成建议阅读的任务”、分析教材中某一主题是“如何组织阅读和任务”等方式形成被评价教材是否达到指标要求的证据。“团队讨论”部分还提出了教材中“文本的顺序是否有助于支持学生达到《共同核心州立标准》中第10条的要求”、“是否有充分的机会（让学生）有独立进行文本阅读的实践机会”、“是否提供脚手架以帮助学生熟练掌握”等问题，既可引导评价者在评价中自我追问，也可在评价人员间展开讨论，形成结论。

通过《证据指南》，不仅便于评价人员理解《优质教材工具》的设计意图，而且形成了一种“基于证据”的教材评价方法，其在一定程度上提升了教材评价的可靠性，使得教材评价的“内部可靠性”和“评价者间可靠性”在一定程度上得到了提升；同时，《优质教材工具》能明确各评价指标的可能证据来源，本身就说明该教材评价标准是基于大量实证研究而形成的产品，具有较高的参考价值。

四、教材评价结果的发布：采用以图文结合的方式全面展示评价结果，并公开接受社会质询

长期以来，教材评价的结果多以“合格名单”的形式发布，对出版商而言无法起到“以评促建”的作用；对教师和学生等使用者而言，无法为其选择教材提供可资参考的实质性建议。近年来，国际上的一些研究者建议教材评价结果以图形方式展示，［19］认为这样不仅可以更为直观的比较多个版本教材，而且可以反映出现实的教材与理想的教材之间的差距。［20］《优质教材工具》吸纳相关研究经验和建议，对评价结果的发布和后续影响的关注都做了创新。

首先，《优质教材工具》在报告评价结果时，不仅对被评价教材在每一评价指标上的得分进行汇报，同时还包括详实的评价意见，解释被评价教材获得该分数的理由。如由麦格劳图3《优质教材工具》评价结果展示图希尔教育公司出版的《奇迹·阅读》（Wonders·Reading）第六册，在关卡2的得分只有22分（满分32分），认定为“部分满足预期”，被终止进行后续评价。在结果报告中，给出的理由之一是该册教材中“一些主题/话题确实促进了学生知识的增长，但是没有给予学生足够的时间理解和熟练运用这些新的知识”。支持上述理由的“证据”之一是，该教材虽对一周的教学计划做出了详细的安排，但在需要灵活安排教学或改变教学进度（timeline）等方面给予教师的支持并不足够，且列举了教材中多个单元的例子加以佐证。［21］就目前来看，《优质教材工具》给出的评价结果报告是较为详细的。通过该报告，不仅可以反映被评价教材的得分依据、评价人员对教材的认识水平，而且还能为教材出版商修订教材，教材使用者选择合宜教材提供参考意见。

其次，《优质教材工具》不仅发布文字报告，而且还采用图示方式报告评价结果。在评价结果报告中以数字和坐标轴的形式展现各册教材在每一个关卡的得分。如上面提到的《奇迹·阅读》第六册的评价结果见图3。虽然这里的评价结果图形展示与学者们的期待相比还显得较为简单，但在“当代文化正在变成一种视觉文化”，面对“现代生活发生在荧屏上”的时代风貌［22］，我们认识、表征世界与自我的方式更多的倾注于图像的时代，《优质教材工具》通过图形展示评价结果的方式，不仅利于更好的展示评价结果、便于用户理解；而且以用户友好的形式呈现，能够吸引更多的潜在用户关注他们的评价结果，扩大其影响。

图3  《优质教材工具》评价结果展示图

再次，《优质教材工具》高度关注评价结果发布后的社会影响，特别是来自教材出版商的“回应”，并将其发布在评价结果报告的页面，以供进一步研究讨论。如麦格劳希尔教育公司针对评价报告对《奇迹·阅读》六年级教材给出的不尽如人意、甚至会影响教材销量的评价结果做出了明确的“回应”。教材编写者认为该册教材之所以未通过关卡2，是由于《优质教材工具》中虽有一些评价指标是比较客观的，但另一些指标则具有很强的主观色彩，未能客观的体现该册教材的优势。［23］无独有偶，一些在评价中未获得满意成绩的教材出版商也或多或少的对《优质教材工具》的可靠性提出了质疑，他们的意见集中在《优质教材工具》“关卡”设置机制及对《共同核心州立标准》是否准确理解的问题上。批评者指出，由于一些教材未能通过“关卡2”，所以评价结果是不完整的，不足以反映被评价教材的全貌，有失公平、公正之嫌；另一方面，《优质教材工具》中的一些指标曲解了《共同核心州立标准》的意图和要求，照此评价下去，将可能带来不良的影响。面对这些质疑，“教育报告组织”予以了正面回应，并对其评价方法和结果报告流程进行了改进。［24］这些质询不仅指出了《优质教材工具》的不足，也警醒我们在研制教材评价标准时既要精益求精，又要广开言路，在接受批判建议中成长。