基金会于2013年聘请新加坡学者Tang T. Heng开展阅读及图书馆评估的调研计划,并于同年完成报告《A Review of Evaluation Studies of Reading/Library Programs》。该完整报告可点击此链接下载阅读 http://www.cysffreading.org/69-2/93-2
该计划的缘起在于2013年正值基金会成立十周年。基金会在阅读及图书馆领域深耕十年后,希望寻找到最佳的项目评估方式来加强项目的监测与评估(Monitoring & Evaluation)元素,因此第一步则需要了解其他机构在此领域的经验和做法。基于对基金会项目认识、理解的基础上,研究者Tang T. Heng对其他地区类似项目进行分析,共确定了20个阅读项目,并在报告中列举了12个有开展评估的机构案例。每个案例内容包括:机构介绍、项目活动、评估报告设计、资料收集方法以及评估发现。根据研究者的专业知识,针对每个案例,还列出了其评估的优劣势。从这份报告中,我们节选和解读了以下几点重要信息,跟同行分享。
1. 极少数的项目中谈到阅读项目对非学术(non-academic)或者非读写有关(non-literacy-related)的影响。很少有机构像本基金会,强调阅读是通往幸福和快乐童年的重要途径。这代表,阅读对社会情绪影响的高质量评估在本研究中并未发现。
2. Reading Connects UK 的项目目标与本基金会的项目目标最近似:建立整个校园阅读社区,帮助每个学生发展为乐趣而阅读的习惯。该机构并未开展评估项目,但其开发的整体校园阅读发展工具可为重要的参考资料。可点击此链接下载阅读http://www.literacytrust.org.uk/assets/0000/0576/Handbook_primary.pdf
表一截选于《Reading Connects Handbook》
3. 从报告中推荐的几个相对较高效度和信度的项目监测、评估中,对比分析其他机构的评估工具和资料收集方法。如下图表二所示,CODE-Ethiopia侧重于对项目结果的监测,因此数据的收集集中在学校和教师层面,而项目影响的评估集中于学生层面。总结来说,通过项目前后数据对比,机构主要了解三个层面的变化: 朗读流利(这涉及到识字量和正确性); 2. 阅读理解能力; 3. 阅读兴趣和习惯。 正如前文所说,以下评估侧重于对学生学业或者与读写有关的影响。不过这些机构强调以数据来改进项目计划的工作理念,值得学习。例如,Room To Read, 其强调每年将定期收集超过3,500个关键指标(https://www.roomtoread.org/impact-reach/)。
另外,这份报告的主要目的在于根据资料分析的结果,向基金会建议具体的下一步工作。研究者的建议主要可归纳为以下三点:
这些工作将成为基金会未来的工作重点之一。时隔三年多,内地阅读项目的发展也如火如荼,项目监测与评估亦逐渐受到大家的重视,也有一些机构开始邀请独立第三方开展项目影响力评估,期望能够与大家在此话题上展开讨论!如果你看到同行高质量的评估报告,也希望与我们分享!