书名：标准化语言测试的标准制订与效度研究 英文
作者：范劲松
ISBN：978-7-309-13704-0
出版社：复旦大学出版社
出版日期：2018.08
随着语言考试在社会生活中发挥的作用越来越重要,语言考试在开发、实施和使用过程中的专业化问题成为近些年国际语言测试界关注的热点话题之一。实现语言考试专业化的重要手段之一是制订和实施语言测试标准。自上个世纪八十年代以来,我国的语言测试理论与实践发展迅猛。经过近三十年的发展历程,我国已经成为名副其实的语言测试大国。以英语为例。目前我国各种各样英语考试层出不穷,每年有数以千万计的英语学习者参加英语考试。我国的语言考试具有规模大、风险高、对语言教学反拨作用显著等特点。因此,这些考试在开发、实施和使用的过程中是否严格遵循相关的语言测试质量标准,考试是否能够有效地反映考生的语言能力水平,对考试结果的使用是否合理,这些问题不仅是教育和考试管理部门关注的重点,也是考生、教师乃至社会公众讨论的热点话题。本研究的主要目的是对目前国际上已经制订和实施的语言测试标准进行详细的回顾和分析,并且对我国语言测试的现状进行深入、细致的调查和研究,为我国教育和考试管理部门在制订和实施语言测试质量标准的时候提供重要参考。本研究共分为三个阶段。在第一阶段,我们对语言测试开发、实施和使用的理论和实践进行了详细的回顾,以此确定指导本研究的理论框架。在众多现有的理论框架中,Bachman&Palmer(2010)提出的测试使用论据(Assessment Use Argument,AUA)集中体现了语言测试研究领域的最新成果,对语言考试的开发和评估具有重要的指导作用。因此,我们在本研究中采用了 AUA作为理论框架。在第一阶段,我们还收集、整理并分析了国际语言测试研究领域已经制订和实施的语言测试标准。我们以AUA框架为基础,对其中的五项标准进行了详细分析,包括国际语言测试协会(ILTA)制订的《ILTA道德规范》和《ILTA行为准则》、《教育和心理测试标准》、《ETS质量和公平标准》以及《EALTA语言测试和评估良好行为准则》。对于这些标准的系统分析能够为我国制订语言测试标准提供重要参考。在第二阶段,我们在AUA框架的指导下对我国的英语测试现状进行了详细的调查研究。首先,我们采用问卷和一对一访谈相结合的方法研究了我国大学入学分级考试在开发、实施和使用各个步骤的具体做法,以此为例探讨我国语言测试的现状以及在考试过程中所面临的困难和挑战。全国共有63所高校参与了本部分的研究,并有5所院校的分级考试负责人参与了一对一访谈。研究结果表明,大学英语入学分级考试普遍缺乏标准意识,很多做法存在问题。例如,很少有高校开发分级考试细则,也很少有高校对命制的试题进行试测。我们在研究中发现,分级考试在部分学校与学生的学分以及课程选修计划挂钩,因此具有一定风险性。但是,考试开发过程中缺乏严格的质量控制措施可能对考试的质量产生影响,进而影响到基于考试结果所做出的决定的效度和合理性。因此,本部分的研究结果进一步说明在我国制订和实施语言测试标准的必要性和紧迫性。在本阶段的研究中,我们还采用定性和定量相结合的研究方法探讨考试利益相关群体对我国英语测试现状的看法,以此进一步勾勒出我国语言测试的环境特征。在定性研究阶段,我们采用开放式问卷(n=248)、一对一访谈(n=14)和核心组讨论(n=12)等方法收集学生数据,并采用一对一访谈(n=12)收集教师数据。所有的访谈和核心组讨论数据收集完成后进行转写,总计达10万多字。然后,我们采用定性分析软件NVivo对数据进行详细的编码和分析。分析结果表明,学生和教师对于语言测试的基本看法相似,均认为考试的设计和考试对教学的反拨效应是区分好的语言考试与不好的语言考试的重要标志。两个群体整体上对于我国英语考试的现状评价比较积极。两个群体均认为口语能力在目前的语言考试设计中没有得到充分体现,考试成绩报告不够细化,无法为学生和教师提供丰富的反馈信息等。这些研究结果为我国的语言考试机构进一步提高考试质量提供了重要参考。基于定性研究结果,我们设计了用于收集定量数据的问卷。全国共有381名学生和100名教师参与了本部分研究。问卷数据收集完成以后,我们采用多种定量研究方法对其进行分析,包括探索新因子分析、信度分析、描述统计分析、配对样本t检验等,以进一步深入探讨利益相关群体对语言测试现状的看法。该部分的研究结果与定性部分基本吻合,表明学生和教师对我国语言测试的现状总体看法比较积极,但是教师的看法比学生更为积极。在EFA所抽取的五个因子中,两个群体对考试实施和管理的评价最为积极,对考试设计的评价最不积极。本阶段的研究结果比较完整地展示了我国语言测试标准制订和实施的环境特征。基于前两个阶段的研究结果,在第三阶段,我们详细探讨了我国制订语言测试标准的目的、方法、内容和基本原则,并尝试确定语言测试标准的基本框架。提高语言考试的信度、效度和公平性不是考试开发机构单方面的责任,而是考试利益相关群体的共同责任,这是制订语言测试标准需遵循的重要原则。也就是说,语言测试标准不仅可以为语言考试机构在考试开发和实施过程中提供重要指导,也能够方便教育和考试管理部门有效监管考试开发机构。同时,语言测试标准有助于提高利益相关群体的语言评估素养,使他们有效地参与到考试的过程中,提升考试的透明度。最后,语言测试标准能够帮助考试的使用者做出正确的决策。我们认为,传统的自上而下的标准制订方法不利于确保标准的效度。采用双向互动的方法既能够考虑到语言测试的共性,也能够有效体现我国语言测试的环境特征,因此是更为合理的标准制订方法。基于以上考虑,我们确定了标准的框架并尝试制订了语言测试开发和实施的标准。在本阶段的研究中,我们还尝试将该部分的标准应用到一项校本英语考试(FET,复旦大学英语水平考试)的开发与实施中。为了探讨标准在实践中的应用效果,我们首先对考试的数据(n=3988)进行结构方程建模分析;其次,我们采用定量和定性相结合的方法探讨学生对考试的评价(n=157)。研究结果表明,FET的效度比较理想,考生对FET的评价也比较积极,认为考试有效地测量了他们的英语水平。语言测试标准在提高FET的质量方面发挥了重要作用。本研究是制订和实施语言测试标准的尝试,相关研究结果对我国的语言考试机构进一步提高语言考试的质量和专业化水平具有重要的参考价值,对于教育和考试管理部门在将来制订和实施语言测试标准也具有借鉴意义。我们认为,制订和实施语言测试标准是提高语言考试信度、效度和公平性的重要举措,必将对我国的外语教育、人才培养和社会进步产生重要而深远的影响。