定性研究中的效度问题_.pdf

教 育 研 究 1996年第 7期 定性研究中的效度问题 ●陈向明 社会科学家们在对社会现象进行研究时 , 一般要用 “效度” (validity) 这一概念来衡量研 究的可靠性 , 即研究的结果是否反映了研究对 象的真实情况 在定量研究 ( quantitative re- search) 中 , “效度” 指的是 “一个测量工具能 够测查出所要测量的东西的程度 这包括两个 意思:一是测查了什么特性 , 二是测查到何种 程度” ①效度的检验方法一般分为三类: 内容 效度 ( content validity) ,实证效度 ( criterionva- lidity) 和结构效度 ( construct validity) ②内容 效度指的是:如果一个测量工具的各个部分测 量了所要测查的事物的所有内容 , 那么这个工 具便具有内容效度 比如 , 一门课的期末考试 如果涵盖了该课程本学期所教的全部内容 , 那 么这个考试便具有内容效度 实证效度 (也称 校标效度 ) 指的是研究人员为方便起见而选择 的测量工具是否有效地对所感兴趣的事情进行 了相关测验或预测 例如 , 研究人员要学生在 问卷中填上他们在高考中各门功课的分数。

如 果学生填的分数和他们实际所得的分数一致程 度高 , 则说明此测量方法实证效度高 , 反之则 低 结构效度指的是测量工具是否确实测查了 它所依据的理论基础 比如 , 如果一个衡量学 生学术水平的量表所测出的分数确实反映了学 生的学术水平 , 那这个量表就具有较高的结构 效度 反之 , 如果学生可以通过猜测或者是因 为善于考试而获得高分的话 , 那么这个测量工 具的结构效度就不够理想 在定性研究 ( qualitative research)③中 , 人 们对 “效度” 这一概念的定义和使用存在着很 多争议 一些学者认为这个词语在定性研究中 同样适用 , 但是不能沿用定量研究对这一词语 的定义和分类 因此 , 他们提出了各种不同的 定义和分类的方法 ④另外一些人认为这个概 念不适合定性研究 ,主张用其他的词语来代替 , 比如 “真实性”( trustworthiness) 和 “可靠 性” ( authenticity)⑤还有一些学者认为不论是 “效度” 还是其他类似的概念都不适合定性研 究 ,⑥这类概念以事物是独立自主的客观存在 为前提 , 认为研究者可以识别 (identify) 并验 证 ( verify) 其客观真实性。

而定性研究的一个 重要理论前提是: “客体” 不是一个固定不变的 实体 , 它在与主体的互动关系中相互配合、 适 应、 转换和变化 研究者对事物的理解不是简 单的主体对客体的认知 (knowing) , 而是主体 与客体在一定的社会文化环境中的重新相互建 构 ( reconstruct)这是一个复杂的运动过程 ,在 此过程中 , 主体逐步获得对客体此时此地的理 解 ( understanding)这种理解受制于主客体所 处的社会文化环境 , 主体行动的目的、 计划和 方式 , 以及主客体进行互动时的时间、 地点和 方式等因素 从事定性研究的人真正感兴趣的 并不是定量研究所指的 “客观现实” 的 “真实 性” 本身 , 而是被研究者眼中所看到的 “真 实”、 他们看事物的角度和方法、以及研究者和 被研究者的互动关系对理解被研究者眼中的 “真实”所产生的影响 ⑦例如 ,当我们调查某中 学的纪律情况时 , 我们的身份和地位 (研究人 —52— 员、 教师还是行政管理人员? 国家教委派来的 还是出于个人兴趣? )、 调查的目的 (了解现状 为研究所用 ,还是汇报上级以决定改革举措? )、 调查的对象 (校长、 老师、 学生还是家长? )、 调 查的地点 (在校园里还是学生家里? )、 调查的 时间 (课上还是课后? )、 调查的方法(参与型 还是非参与型观察? 开放型还是封闭型访谈? ) 等都有可能影响我们对学校纪律情况的研究结 果。

定性研究对效度的定义 尽管学术界对定性研究中是否应该使用和 如何使用 “效度” 这一概念有不同的意见 , 绝 大部分定性研究者仍旧沿用 “效度” 这一词语 来讨论定性研究中有关研究结果的真实性问 题 然而 , 大家都同意 , 定性研究所使用的 “效度” 这一词语不论是在概念定义、 分类方法 还是使用范畴上都和定量研究很不一样 定性 研究所使用的 “效度” 指的是一种关系 ( rela- tionship) ,是研究结果和研究的其他部分 (包括 研究者、 研究的问题、 目的、 对象、 方法和情 境 ) 之间的一致性 ( consistency)当我们说某 一研究结果是 “真实可靠的” 时候 , 我们不是 将这一结果与其研究的某一个可以辨认的、 外 在的客观存在相比较 (事实上这一存在并不存 在 ) , 而是指对这个结果的“表述” ( account)是 否 “真实” 地反映了在某一特定条件下某一研 究人员为了达到某一特定目的而使用某一研究 问题以及与其相适应的方法对某一事物进行研 究这一活动当我们说某一表述是“有效的”时 , 我们并不是说这一表述是对该研究现象唯一正 确的表述 我们只是表明这一表述比其他表述 更为合理。

事实上 , 为了使我们的研究有用和 可信 , 我们并没有必要一定要找到绝对真理 (虽然找到绝对真理是不可能的 ) 只要我们对 研究结果的表述在现存条件下比其他可能的表 述更为合理 , 它就是可以信赖的 如上所示 , 定性研究中使用的 “效度” 这 一概念是用来评价研究者对研究结果的表述 , 而不是像定量研究那样对研究方法的评估 定 量研究假设研究对象是一个客观的实体 , 只要 研究者遵循一定的方法和操作程序就可以保证 获得可靠的数据和研究结果 而定性研究者认 为客观的、 固定不变的实体是不存在的 , 研究 过程是一个主客体不断互动演化的过程 “效度 不是一个商品 , 可以用方法买到……效度就好 像是品质、 性格和质量 , 只能在与一定的目的 和环境的关系之中加以测查⑧“效度”不是一 种产品 , 不能按照某种严格的、 预定的程序而 生产出来效度”是研究人员力争达到的一种 目标 , 一种境界 , 而这种目标和境界的实现取 决于当时、 当地和当事人的具体情况 , 没有统 一绝对的标准可循 因此 , 也没有一套固定的 通用于一切情况的方法 当我们说某一结果的 效度比较高时 , 我们不仅仅指该研究使用的方 法有效 , 而是指对该结果的表述再现了研究过 程中所有部分、 方面、 层次和环节之间的平衡 和一致性。

效度的分类 对效度进行分类的方法目前有很多种 ⑨ 哈佛大学教育学院教授 Joseph Maxwell在前 人的基础上发展了自己 “当事人” ( emic) 的分 类法 10他认为与其借用定量研究或其他学科 对效度的定义和分类法 , 不如从定性研究者自 己从事研究的经验出发 , 介绍他们是如何在研 究过程中思考、甄别和处理效度问题的 11从研 究者自己的角度来探讨效度问题比站在这之外 评头论足更有可信度和说服力 Maxwell教授 将定性研究中有可能出现的效度问题分成五种 类型: 描述型 ( descriptive) , 解释型 ( interpre- tive) , 理论型 ( theoretical) , 推广型 ( generaliz- ability)和评估型 ( evaluative) 12他在讨论这些 类型时只是简单地陈述了一下他的观点 , 没有 给予详细的讨论和举例说明 笔者将在这一框 架下就自己做研究的经验以及在教授定性研究 课程中遇到的问题对效度进行更进一步的探 讨 一、 描述型效度 描述型效度指的是对外 在现象或事物所进行的描述的准确度 这一概 念既适用于定性研究也适用于定量研究。

衡量 这一效度有两个条件: ①所描述的事物或现象 必须是具体的; ②这些事物或现象必须是可见 或可闻的 , 比如学校里的教室和操场 , 上课时 老师对学生提问 假设一位研究人员到学校观 察课堂上老师和学生的互动关系 , 如果该教室 —53— 临街 , 外面很嘈杂 , 该研究人员听不清楚老师 和学生所说的话 , 那么他对师生互动关系的描 述就有可能失真 另外 , 假设一位研究人员去 采访一位小学校长 , 访谈开始后 , 他的录音机 出了毛病 , 没有录下校长所说的话 那么 , 他 事后凭记忆所做的记录也有可能有所遗漏和错 误 在这种情况下 , 不论是研究者收集的原始 材料还是基于这些材料之上所做的结论 , 其描 述效度都有问题 在描述型效度方面犯错误的情况还包括在 收集和分析资料时有意无意地省略掉某些对研 究课题至关重要的信息 比如 , 如果研究者在 对学校食堂的伙食标准进行观察后只在报告中 提到 “学生伙食标准很高” , “饭菜价格很贵” , 而不对饭菜的成本和价格进行具体的报道的 话 , 则有可能造成资料的不真实 由于不同的 人对 “高” 和 “贵” 这类判断性概念可能有不 同的理解 , 仅仅用这些词语来描述饭菜的价格 是不准确的 , 容易给读者造成不解或误解。

描述型效度还受到研究者和被研究者之间 关系的影响 在进行非参与型观察时 , 被研究 者可能因为研究者在场而表现得与平时不一 样 在访谈时 , 被访者有可能自觉或不自觉地 掩饰或回避一些问题 如果研究者是被研究者 的上司 , 或者有可能被看作与上司有关系 , 被 研究者有可能有意投其所好 , 报告一些不真实 的情况 二、 解释型效度 解释型效度只适用于定 性研究 , 指的是研究者了解、 理解和再现被研 究者对事物所赋予的意义的真实程度 满足这 一效度的首要条件是:研究者必须站到被研究 者的角度 , 从他们所说的话和所做的事情中推 衍出他们看待世界以及构建意义的方法 (而不 是像定量研究那样 ,从研究者预定的假设出发 , 通过研究来验证自己的假设 ) 由于定性研究强 调再现研究对象自己的文化规范、 思维趋向和 行为方式 , 研究者在收集原始资料的时候必须 尽最大的努力理解当事人所使用的语言的涵 义 , 尽可能使用他们自己的词语作为分析原始 材料的分类名 , 并力图在研究报告中真实地表 现他们的意义体系 另外 , 在试图理解研究对 象的真实想法时 , 我们还必须分清楚他们口头 上所拥护倡导的理论 ( espoused theory)和他们 在实际行动中所遵循的理论( theory- in-use)。

比如 , 某位教师可能认为体罚学生是不好的行 为 , 如果有研究人员问他这个问题他也会这么 回答 可是 , 他在实际处理学生问题的时候有 可能使用过体罚这一手段 , 这时候他使用的是 另一套解释原则 在这种情况下 , 研究者必须 使用多种不同的研究方法(如访谈和观察相结 合 ) , 调查各种不同的人 (如他的学生、 学生家 长以及学校里其他的老师和管理人员 ) ,询问不 同的情形 (如他在什么情况下体罚过学生? 体 罚过什么样的学生? 因为什么原因? 等等 ) , 从 而了解该老师所说的 “体罚学生是不好的行 为” 到底是什么意思: 是他认为应该遵循的一 种价值观念? 还是可以因具体情况的不同而不 同? 三、 理论效度 理论效度又称诠释效度 ( explanatory validity) , 和定量研究中的 “结构 效度” 类似 , 指的是研究所依据的理论以及从 研究结果中建立起来的理论是否真实地反映了 所研究的现象 我们知道 , 所谓理论是由两部 分组成的 , 一是概念 , 比如 “学校”、“好学 生” “坏学生” 等等; 二是概念和概念之间的关 系 , 包括因果关系、 序列关系、 时间关系、 语 义关系、 叙述结构关系等等。

例如 , 某研究人 员在一小学对老师如何看待学生这一现象进行 了调查以后 , 得出如下结论: “老师称有些学生 为差生是因为他们成绩不好” ,。