"大规模考试英语作文自动评分系统的研制"初步完成(45794)-英语教育-(127)-21英语网

"大规模考试英语作文自动评分系统的研制"初步完成

本文作者： 21ST

由中国外语教育研究中心梁茂成教授主持的教育部哲学社会科学研究项目"大规模考试英语作文自动评分系统的研制"（编号06JA740007）已初步完成，并于近期顺利通过了研究报告鉴定会。梁茂成的研究成果受到了全国大学英语四、六级考委会主任、上海交通大学金艳教授、清华大学语言测试专家张文霞教授以及中国外语教育研究中心刘润清、王克非、陈国华教授的一致肯定，鉴定委员会认为该研究处于国内领先水平。

该项目研究的是英语作文自动评分系统，并对该评分系统的评分信度、最低训练集样本量、适用文体类型、信度影响因素等问题进行了深入探讨。研究发现，由于英语作文自动评分系统中设置了一些对作文质量具有较强预测能力的文本变量，使得系统在接受了足够的训练之后，自动评分的评分信度达到了r = 0.752或更高，可以满足统计学和测试学的要求。

在训练集信度可靠的前提下，自动评分系统的评分信度最高可以达到r = 0.83以上，作文评分系统的评分结果与人工评分的结果之间的吻合率（在0-5的量表上）高于美国ETS的E-rater，这表明当训练集样本信度可靠时，该研究中设计的英语作文自动评分系统的评分信度高于E-rater。因此，该系统已经达到了可操作水平。

梁茂成教授这一研究成果将有力地推动我国大规模英语考试实现作文评分自动化的进程。