姚进LYLE F BACHMAN 语言测试理论述评.ppt

Lyle F. Bachman 语言测试理论 述评贾贻东 北京科技大学学报 2010年1月论文结构• 导言 • Bachman 对语言能力本质的阐述 • Bachman 的效度验证理论 • Bachman 关于影响测试表现的因素 • Bachman 关于测试真实性的论述 • 结语导言--Bachman及其理论的简介• Lyle F. Bachman 教授，他是国际著名语 言测试专家，任教于美国加利福尼亚大 学洛杉矶分校，并先后任美国应用语言 学学会主席、国际语言测试协会副主席 、主席他是第一位“TESOL 突出研究 奖”的获得者，两度获得美国现代语言 协会的 Mildenberger 奖，1999 年入选 ESL 杂志评出的 30 名“ESL 开拓者”， 2004 年，被国际语言测试学会授予“终 身成就奖”• 《语言测试要略》在该书中，Bachman 提 出的“ 交 际 语 言 能 力 模 式 ”（ Communicative Language Ability, CLA）被 称为“语言测试史上的里程碑”，这一模式成 为雅思考试的重要理论基础 • 《语言测试实践》把理论与实践结合起来， 为测试的开发提出了一个可以操作的模式， 并在这个模式基础之上又进一步提出了“评 价使用论证”（Assessment Use Argument, AUA）框架。

• 《语言测试的统计分析》是一本专门阐释各 种统计手段的专著• 本文根据 Bachman 个人网页上 关于其测试理论的实证研究领域 ，综述他对语言能力本质的认识 、效度检验理论、测试真实性、 影响考生测试表现的因素以及与 测试表现的关系等方面的主要观 点 Bachman 对语言能力本质的阐述• 理论背景 • Bachman 的语言能力模式 理论背景• Chomsky 较 早 明 确 提 出 了 “ 语 言 能 力 ”（competence）的概念，认为语言能 力是“理想的”语言使用者在“完全同质的 语言社团”环境下拥有的潜在规则系统 • Hymes 提出了“交际能力”communicative competence）的概念 • 1979 年 3 月，第一届国际语言测试学术 研讨会（the Language Testing Research Colloquium）在美国波士顿召开，会议的 焦点就是交际语言能力测试，自此交际 语言测试渐成语言测试研究的主流 理论背景• 80 年代初，Canale 和 Swain 提出了“交 际语言能力模式”（the framework for communicative competence），这个模 式由三部分组成：语法能力、社会语言 能力和交际策略能力。

该模式自 80 年 代以来在应用语言学界影响很大，成为 交际语言测试的理论基础，不足之处是 没有明确指出这三种能力之间的关系Bachman 的语言能力模式 • Bachman在综合了他人对语言能 力的研究基础之上，提出了一个“ 交际语言能力模式”（CLA），更 加全面、深入地对交际语言能力 进行了解释 • 他的“交际语言能力模式”由三部 分组成：语言能力（language competence）、策略能力（ strategic competence）和心理生理 机制（psychophysiological mechanisms）Bachman 的语言能力模式 • 其中，语言能力包括： • 1. 组织能力 • 1）语法能力（如词汇、句法、语音等） • 2）语篇能力（如衔接、修辞等） • 2. 语用能力 • 1）言外行为能力（如概念功能、操作功能等） • 2）社会语言能力（如对方言或变体、语域的敏感 • 性） • 策略能力包括三个部分：评估、计划和执行； • 心理生理机制则是指语言运用中的神经和生理过程 Bachman 的语言能力模式• 在这个模式中，三种能力各负其 责：语言能力是核心灵魂，策略 能力是手段和桥梁，来连接语言 能力和外部世界，心理生理机制 则是语言能力能够顺利执行的物 质基础。

Bachman 的语言能力模式• 这个模式对测试学界产生了广泛的影响 此外，这个模式对测试设计实践的意 义在于它给我们列出了一个可以应用于 交际语言测试的“项目清单”，这个清单 的各个成分比例可以因测试目的或考试 水平的差异而做相应调整，具有很强的 操作性Bachman 的语言能力模式• 2001 年，欧洲理事会推出的《欧洲语 言学习、教学、评测共同参考框架》， 以口语测试为例列出了 12 个不同的语 言能力类别，并明确指出，这些类别可 以根据学习者的需要、测试任务的要求 和目的进行有选择的处理Bachman 的语言能力模式• 90 年代之后，语言测试界又出现了另外两股 新的潮流来界定语言能力，一个是基于任务 的语言测试，认为可以通过完成某一测试任 务来评价考生的语言能力，另一个是认为语 言能力是一种语言使用时的情景互动 • 根据这些最新发展，Bachman 又进一步修正 和补充了关于语言能力的理论，提出了基于 能力的（ability-based）、基于任务的（task- based）和基于互动的（interaction-based） 的三种定义语言能力的途径Bachman 的效度验证理论 • 理论背景 • Bachman 的效验观点 理论背景• 效验理论脱胎于效度理论，如果说效度 理论是相对静态的、理论性的、宏观的 ，那么效验理论则是相对动态的、实践 性的（practical）和具体的（local）， 但随着测试理论的发展，二者融合的趋 势日趋明显，特别是20 世纪 80 年代中 后期，Messick 提出了“效度整体观”（ unitary concept of validity），认为“效度 是一种综合的价值判断，就是指在多大 程度上经验证据和理论证据能支持基于 测试分数或其他评估形式所做出的推断 或采取的行动是充分和恰当的”，这个 观点最终把效度理论和效验理论融合在 一起。

理论背景• Kane 提出了 “ 实 用 论 证 ”（practical argument）来研究测试效度，并称之为“ 效度论证法”（validity as argument），后 又称之为“解释性论 ” • Weir 提 出 了 “ 基 于 证 据 的 效 验 ”（ evidence-based validation）理论框架，认 为效验证据，主 要 来 自 5 个 方 面 ：（1 ） 基 于 理 论 的 效 度（theory-based validity）；（2）环境效度(context validity);（3） 打分效度（scoring validity ）；（4） 效标关联效度（criterion-related validity）；（5）后果效度（consequential validity） • Toulmin 则从一个“有效论证”的内部组成 部分出发，提出一个合理的论证有两大部 分组成，一是基本成分，包括主张（ claim）、根据（grounds）和依据warrant ），另一个是调节性成分，包括支撑 backing）、情态用语（modal term）和反 证（rebuttal）Bachman 的效验观点 • Bachman 第一次把教育测量学领域内最新的“ 效度整体观”引入到语言测试学界，详细阐述 了自己对效验的观点；Bachman 认为效度是 测试开发、解释和使用的最重要的特征，对 考试分数充分、恰当的解释和使用与效度整 体观密切相关；对测试分数解释的效度证据 可通过多种途径得到，为此他提出了“测试有 用性”模式，具体包括信度、构念效度、真实 性、互动性、影响和实用性等六个方面。

Bachman 的效验观点• Bachman 进一步从方法论的角度提出效验包 括两个阶段：（1） 提出效度验证观点，包 括两个方面：试图对测试分数做哪些解释和 使用？还有哪些与相反的解释和使用？（2） 收集相关证据以支持所提议的解释和使用， 反驳相反的观点收集证据是一个连续不断 的过程，它贯穿一项测试的整个操作过程 为了保证效验方法的有效性，Bachman提出 了多种定性和定量的手段，如内容分析法、 测试过程分析法、探测因子分析法 （ exploratory factor analysis）、 多 特 征 多 方 法 相 关 矩 阵 法（multitrait-multimethod correlation matrix）等Bachman 的效验观点• 现代语言测试学的一个显著特征是更加 关注测试的后果、道德和公平，因此需 要把效度理论和语言测试的后果结合起 来，以期更加明确效度的作用和语言测 试的公平 • 为此，Bachman 提出了“评价使用论证” （Assessment Use Argument, AUA）的 理论框架Bachman 的效验观点• 这个框架是： • 评价表现 评价报告（分数） 解释（ 语言能力） 做出决定（使用） 后果 Bachman 的效验观点• 这个框架的双箭头表示它可以双向线性 流动以服务于两个不同的目的：当进行 评价的设计和开发时，以评价的后果为 出发点向前步步推，为评价的设计和开 发提供理论根据和合理化辩护； • 当进行评价的解释和使用时，方向则相 反，以评价的设计和开发为出发点向后 推理，以此把考生的评价表现和评价设 计者的后果意图连接起来。

Bachman 的效验观点• 整个框架中每一步向下一步的推理都包含了主张 （claim）、数据（data）、理据（warrant）、支 持性证据（backing）、反驳（rebuttal）和反驳依 据（rebuttals）等组成部分 • 例如，从考生的评价报告（分数）向解释其语言 能力的推理中，认为考生的“听力水平低，阅读 水平高”，这种陈述本身是一个主张，这个主张 是基于考生的测试表现（数据）做出的，做出上 述主张的前提是这个评价任务是稳定的、可靠的 （理据），我们还可以从评价的设计、开发、试 测等诸环节收集对主张和理据的支持性证据，与 上述主张不同的陈述和证据则构成了反驳和反驳 性依据Bachman 的效验观点• Bachman 提出的“AUA 框架”是语言测试界的一 次理论革新 • 主张以测试所带来的后果为起点来进行测试的 一系列程序，从而把效度和测试使用联系在一 起，这个观点已经得到了其他学者的响应 • 其次，完成了把“可靠的”测量技术与“负责的”的 测试使用和后果的真正结合把测试理论的严 密可靠性和价值意义有机地结合在一起，变得 更加可控和可操作 • Bachman 使用“评价使用论证”而不是“测试使用 论证”体现出了现代测试学的基本趋势，即除了 量化的分数之外还可包括对考生语言能力的文 字描述或学习过程的评价（如学习档案）等手 段，大大拓宽了效验的应用范围。

Bachman 关于影响测试表现的因 及与测试表现的关系• （一）测试方法对考生的影响 • （二）考生个体特征与测试表现 的关系（一）测试方法对考生的影响• Bachman 认为除了所要测量的语言能力可以影响考生 的表现外，影响考生表现的一个重要方面是测试方法 方面（test method facets）， • 包括：（1）测试环境，如考生是否熟悉考试的地方和 设备，对施考人员是否熟悉，测试的时间及考场的物 理环境；（2）测试规程， 如整个测试的结构，每一 部分是否明确；（3）测试卷面的输入形式，包括卷面 呈现的渠道、形式、手段、使用的语言；（4）要求考 生应答的形式，包括要求答题的渠道、形式、类别、 及答题使用的语言；（5）卷面输入和应答形式之间的 关系，包括单向、双向和适应性 • 而且，以上诸因素与个体特征差异的考生结合在一起 ，就有可能会出现考试的偏颇（test bias），即测试任 务因为某种原因对受试人群中的某个考生群体有利， 由此而造成无法对测试。