测评中的共同方法偏差.pdf

研究方法#测评中的共同方法偏差杜建政X 赵国祥 刘金平( 河南大学教育科学学院, 开封, 475001)摘 要 共同方法变异是指由于测量方法而非所测构想造成的变异共同方法变异会对测评和测评间的相关产生严重影响,甚至会使研究导致错误结论本文介绍了学界对共同方法偏差的研究, 内容包括: ( 1) 共同方法偏差在多大程度上和以何种方式影响测评研究结果; ( 2) 共同方法偏差的潜在来源及其程序控制关键词: 共同方法变异 方法偏差 程序控制众所周知, 测量误差可分为随机误差和系统误差, 系统误差的一个主要来源就是方法变异(method variance)[ 1]而共同方法变异( common method variance) 则指由于测量方法而非所测构想 ( construct) 造 成的变 异[ 2]共 同方法 偏差 ( common method biases) 无疑会对测评结果产生严重影响, 甚至会使研究导致错误结论假定一个研究者对构想 A 和构想 B 之间 的关系感兴趣基于某种理论, 他期望构想 A 的测量分数与构想 B的分数存在一定程度的相关但是, 如果对构想 A 和 构想 B的测量采用了同样的方法, 则此方法将会对测量施加一个系统的影响, 那么观测到的两者分数的相关, 至少有一部 分是共同方法导致的。

早在 40 多年前, Campbell 和 Fiske[ 3]就对共同方法偏差进行过探讨, 而在近期, 学界对此益加关 注[1, 2, 4- 7]1 共同方法偏差对测评的影响共同方法偏差对测评的影响, 一是表现在行为测评的数 据上, 另一是表现在测评数据之间的相关上人们认识和探讨共同方法变异对行为测评的影响, 大多 依据对多特质- 多方法(multitrait- multimethod, 简称 MTMM)研究的元分析[1, 8, 9]Cote 和 Buckley[ 8]所提供的依据, 或许是 最全面、 最有说服力的他们考察了 70 项MTMM 测评研究中的共同方法变异, 这些研究所涵盖的领域包括心理学、 社会 学、 营销学、 教育学等他们发现, 在通常的测评研究中, 大约四分之一( 26. 3% )的变异是由共同方法偏差之类的系统误差 造成的而且, 他们还发现, 方法偏差所导致的变异大小, 因学科和所研究的构想类型( the type of construct) 而异一般说 来, 营销学研究领域的方法变异数最小(15. 8% ) , 而教育学研 究领域中的方法变异数最大(30. 5% ) 。

在通常的工作绩效测评中, 方法变异数平均为总变异数的 22. 5% , 而在态度测量 中, 方法变异数则平均可达总变异数的 40. 7% William 等[ 9]在对应用心理学文献的研究中, 也发现同样的模式 此外, 越来越多的研究探讨了共同方法变异对测评间相关关系的影响[10- 12]这类研究比较了共同方法变异受到控 制和未受控制条件下, 变量之间相关程度的大小研究结果发现, 平均而言, 存在共同方法变异时, 其变异数约占 35% ; 而控制共同方法变异时, 其变异数约占 11% 这足以表明,共同方法变异对不同构想测评数据之间的相关系数有着很大影响而且, 还有研究表明, 方法因素导致的偏差因研究背景而异[ 8, 13] 实际上, 共同方法变异既能使不同构想间的相关系数增大, 也能使它们的相关系数减小, 也就是说, 既能导致第Ñ 类错误, 又能导致第Ò类错误Cote 和 Buckley[ 8]估算了特质变 异数、 方法变异数、 方法间的相关系数, 并将其代入公式(1),计算各类构想( 如态度、 人格、 能力)测评数据间的相关系数在多大程度上受到共同方法变异的影响:Rx, y= ( trueRti, tjtxty)+ ( trueRmk, mlmxmy(1)在这里, trueRti, tj是特质i 与特质j 之间的相关系数均数, tx是测评x 中特质变异数所占的百分比, ty是测评y 中特质变异数所占的百分比; trueRmk, ml是方法k 与方法l 之间的相关系数 均数, mx是测评x 中方法变异数所占的百分比, my是测评 y中方法变异数所占的百分比。

在各类构想的测评中, 真相关值(true correlation) 与观测相关值(observed correlation) 之间的关系可见表 1在表 1 中, 第一列第二行的相关值为 0. 52它是由真相关值( 1. 00) 乘以 Cote 和 Buckley[ 8]所估算的态度测 评中特质变异数通常所占百分比的平方根( 即0. 298) , 再乘以人 格测评中特质变异数通常 所占百分比的平方根 ( 即0. 391) , 然后加上, 态度测评与人格测评的方法相关值 0.551( 可由态度测评方法的相关值 0. 556 与人格测评方法的相关值 0. 546 平均而得)、 态度测评中方法变异数通常所占百分 比的平方根( 即0. 407) 、 人格测评中方法变异数通常所占百分比的平方根( 即0. 247) 的连乘之积, 计算而得 从表 1 中还可得出一些重要结论如: 第一行第一列的数据表明, 即便两种态度构想完全相关, 由于测量误差, 其测评数据间的观测相关值也仅为 0. 52; 而第一行最后一列的数据表明, 同样由于测量误差, 即便两种态度构想完全无关, 其 测评数据间的观测相关值也可达 0. 23。

表中数据受到不同方向的干扰: 整个第一列数据显示, 即便两特质完全相关, 测量误差仍可将其 观测相关值削 去一半, 其方差贡 献率为70% ; 而最后一列数据显示, 即便两构想完全无关, 测量误差 也可使其观测相关值大于 0实际上, 其中有些数值与文献报道中的效应值差异很大由此可见, 大多数研究完全忽略X通讯作者:杜建政, 男E- mail: dujzh@ eyou. com420 心理科学 Psychological Science 2005,28(2) : 420- 422了测量误差, 或者仅仅考虑到随机误差而忽略了系统误差[2]表 1 各类构想测评中真相关值与观测相关值的关系(引自 Podsakoff 等, 2003)构想类型真相关值 Rti, tj( Rti, tj2)1. 00( 0. 00)0. 50( 0.25)0.30( 0. 09)0. 10( 0. 01)0. 00( 0.00)态度- 态度0. 52( 0. 27)0. 38( 0.14)0.32( 0. 10)0. 26( 0. 07)0. 23( 0.05)态度- 人格0. 52( 0. 27)0. 35( 0.12)0.28( 0. 08)0. 21( 0. 04)0. 17( 0.03)态度- 能力0. 52( 0. 27)0. 35( 0.12)0.28( 0. 08)0. 21( 0. 04)0. 18( 0.03)态度- 工作绩效和满意度0. 51( 0. 26)0. 32( 0.10)0.25( 0. 06)0. 17( 0. 03)0. 13( 0.02)人格- 人格0. 53( 0. 28)0. 33( 0.11)0.25( 0. 06)0. 17( 0. 03)0. 13( 0.02)人格- 能力0. 53( 0. 28)0. 34( 0.12)0.26( 0. 07)0. 18( 0. 03)0. 14( 0.02) 人格- 工作绩效和满意度0. 53( 0. 28)0. 32( 0.10)0.23( 0. 05)0. 15( 0. 02)0. 10( 0.01)能力- 能力0. 54( 0. 29)0. 34( 0.12)0.26( 0. 07)0. 18( 0. 03)0. 14( 0.02)能力- 工作绩效和满意度0. 54( 0. 29)0. 32( 0.10)0.24( 0. 06)0. 15( 0. 02)0. 11( 0.01)工作绩效和满意度- 工作绩效和满意度0. 54( 0. 29)0. 31( 0.09)0.21( 0. 04)0. 12( 0. 01)0. 07( 0.00)注: 表体中的数值是由公式( 1) 计算而得的观测相关值 Rx, y 及其平方( Rx, y2) 。

在计算中, 我们假定: ( 1) 每类构想的特质变异数与 Cote 和Buckley( 1987) 所报告的相同( 如: 态度测评= 0. 298, 人格测评= 0. 391, 能力测评= 0. 395, 工作绩效和满意度测评= 0. 465) ; ( 2) 每类构想的方法变异数与 Cote 和 Buckley( 1987) 所报告的相同( 如: 态度测评= 0. 407,人格测评= 0. 247, 能力测评= 0. 251, 工作绩效和满意度测评= 0. 225) ; (3) 方法间的相关值取 Cote 和 Buckley( 1987)所报告的构想测评方法间相关值的均值( 如: 态度- 态度的方法相关值= 0. 556, 人格- 态度= 0. 551, 人格- 人格= 0. 546, 能力- 态度= 0. 564, 能力- 人格= 0. 559, 能力- 能力= 0. 572, 工作绩效和满意度- 态度= 0.442, 工作绩效和满意度- 人格= 0. 437, 工作绩效和满意度- 能力= 0. 450, 工作绩效和满意度- 工作绩效和满意度= 0. 328) 上述计算对可能存在的特质与方法间的交互作用忽略不计。

测量误差增大抑或减小测评间的观测相关值, 取决于测 评方法之间的相关若方法间的相关大于排除此方法影响后测评间的观测相关值, 则此方法的影响会增大观测相关值; 若 方法间的相关小于排除此方法影响后测评间的观测相关值,则此方法的效应, 是减小测评间的观测相关值[ 14]2 共同方法偏差的潜在来源及其程序控制共同方法偏差可来源于不同途径, 如: 预测源分数与效标分数以相同的方法或评分者获得、 项目特征、 项目背景( item context)、 测评背景等Podsakoff 等[ 2]对此做了全面的归纳, 见表 2具体到某一项研究中, 共同方法偏差可能来源于上述因素之一, 也可能来源于多种因素的结合因此, 认真分析数据 的获得途径, 评估方法偏差的影响程度, 就显得至关重要尤其是预测源与效标变量的数据是在同样的测评背景下使用相 似特征和相同背景的项目测评同一受测者获得时, 方法表2 共同方法偏差的潜在来源(引自 Podsakoff 等, 2003)潜在来源定 义共同评定者效应指由于变量指标从相同受测者中获取而导致预测源和效标变量之间的人为共变一致性倾向指受测者对项目的反应保持一致性的倾向内隐观( 包括错觉相关)指受测者认为某种特质、 行为和( 或) 结果存在共变关系。

社会赞许动机指一些受测者对项目反应时更多地考虑社会能否接受, 而非依据其自身的真实感受宽待偏向指受测者倾向于将社会赞许的特质、 态度和( 或) 行为归于熟悉和喜爱的人默认偏向( 答是与答否)指受测者不考虑问卷项目的内容而回答/ 同意0( 或/ 不同意0)的倾向心境( 消极或积极)指受测者在消极( 或积极) 心境下会消极( 或积极) 地看待自身和周围事物短暂的心情指近期扰动心情的事件影响了受测者看待自身和周围事物的方式 项目特征效应指单纯由于项目所具有的特性影响受测者对项目的理解和反应而导致的人为共变项目的社会赞许性指项目的表述方式更多地反映了社会所赞许的态度、 行为和立场项目的暗示性指项目可能会传递如何对其反应的隐含线索项目的模糊性指项目存在歧义使受测者按某种猜度进行反应或对不同理解作出随机反应共同的量表形式指使用相同量表形式( 如 Likert 量表、 语义区分量表等) 的问卷而导致的人为共变共同的量表锚定指问卷中重复使用同样的锚定点( 如: 非常、 总是、 从不等) 项目词性的肯定与否定指在问卷中使用肯定( 或。