
情境判断测验的研究述评_1.docx
20页情境判断测验的研究述评 凌斌 顾金良 孙丽君摘要:情境判断测验是人事测评中非常重要的工具和研究主题,近些年来围绕着它的理论基础、测量属性、构念开发、应用效果等问题展开了一系列的研究本文阐述了情境判断测验作为方法或构念的争论,论述了它的理论基础,比较了不同形式的测验特征,总结了情境判断测验的信度和效度研究进展,最后从测验的呈现方式、作假行为和群体差异三个方面剖析了执行情境判断测验的关键要素未来研究可以对不同形式的情境测验进行比较,加强测验构念和内容的研究,尝试与其他测评工具相结合关键词:情境判断测验;人事测评;信度;效度1.前言情境判断测验(situational Judgment Tests,简称SJTs)是人事测评中非常重要的选拔和评估工具近些年来,人力资源研究学者对于情境判断测验的理论问题(Kasten&Freund,2015;Weekley&Ployhart,2006),信度效度(Banki&Latham,2010;Catano,Broehu,&Lamerson,2012;Christian,Edwards,&Bradley,2010),构念开发(Bledow&Frese,2009),测验形式比较(Lievens&Sackett,2006),实际应用(Buyse&Lievens,2011;Patterson Rowett,Hale,Grant,Roberts,Consans.&Martin.2016)等问题做了深入的探讨,并已逐渐成为人事测评领域中的研究热点。
情境判断测验是由一些工作相关的情景或场景组成,要求受测者运用相应的知识、技术、能力或其他特质(KSAOs)来解决包含在情境中的困境或问题(Christian,Edwards,&Bradley,2010;Slaughter,Christian,Podsakoff,Sinar,&Lievens,2014;Whetzel&McDaniel,2009)情境判断测验一般会针对情境困境列出一组不同水平的行为方案,要求受测者评价每种行为方案发生的可能性或效能情境判断测验题项形式可以是书面形式、口头形式、视频形式、或者计算机呈现的形式情境判断测验在人事测评研究中具有重要的方法和理论意义以往研究仍然在情境判断测验的构思与方法定位、理论假设和测量方法指标与属性等方面存在分歧这限制了情境判断测验的实际效果本文通过对近期文献的梳理和分析,以整合的视角阐释和论述情境判断测验在人事测评研究中的最新进展和研究趋势正文主要分为以下几个部分:首先介绍有关情境判断测验是一种方法技术还是一种理论构念的研究争论从各自视角分析情境判断测验的方法性特征与构念性特征,尝试提出相应的解决方案然后论述了情境判断测验的两种基础性理论:行为一致性假设与内隐特质策略理论。
两种理论从不同视角诠释情境判断测验预测行为绩效的内在逻辑第三,从理论概念出发,比较不同形式的情境判断测验,以及对比它与其他测评工具的差异第四,阐述了情境判断测验的信度与效度研究,指出它在心理测量理论与技术方面的特征与趋势最后,强调了操作与执行情境判断测验的过程中需要注意的三种因素:测验呈现方式、作假行为和群体差异.它们会对情境判断测验的具体实施产生重要影响2.作为方法技术或理论构念的争论长期以来情境判断测验被看作是一种测量概念的方法,是人员选拔或者预测工作绩效的途径人们只关注情境判断测验的分数.而对于分数与测验内容的关系缺乏探究(Christian et al,2010;Kasten&Freund,2015)近期研究逐步关注情境判断测验的内容并将其作为一种构念,因此情境判断测验是测量方法还是测量构念成为研究的焦点问题(Christian et al,2010;Libbrecht&Lievens,2012;Lievens&Sackett,2012;Whetzel&Mcdaniel,2009)在人事选拔方面,测量指标在方法與构念上的区分对于理解情境判断测验研究是非常关键的(Whetzel&Mcdaniel,2009),同时也具有重要的理论意义和实践意义,而混淆方法与构念会降低测量结果的解释力。
测量指标的方法指的是获得和收集相关领域行为信息的特定方法和技能.如评价中心,纸笔测验,结构化面试等,是从行为范畴中获得信息的过程测量指标的构念指的是从相关领域中抽取的行为样本,是作为一个心理学的概念,关注预测变量的行为范畴(Arthur Jr&Villado,2008;Guenole,Chernyshenko,Stark,&Drasgow,2015;Slaughter,Christion,Podsakoff,Sinar,&Lievens,2014)首先,情境判断测验作为一种测量方法,它与其他人事测量工具如评价中心和面试访谈等一样是用来甄别区分被测量对象的行为特征将情境判断测验看作是方法,主要是关注方法本身特征,而不关注测验内容因此,在实际测验中主要依据测验分数来做出预测推论以往研究中情境判断测验作为方法所测量的构念是单一的或者复合型的.即采用笼统的复合概念来说明测量的内容,并给出相应的信效度指标尽管情境判断测验作为测量方法具有有效的预测和甄别能力.但是弱化了测验内容会导致题项内部一致性较差.缺乏有效的构念效度,混淆测验结果与效标之间的关系这样一来就难以说明测验效标的变异是由于测验构念的变异导致的还是由于测验方法差异所导致的。
尽管大多数方法范式的研究都会给出比较满意的信度或者效度值,但是这种范式的情境判断测验研究很难做比较因为不同研究的情境判断测验不是在同一个构念水平上.测验内容不是同质的因此,基于不同构念水平的情境判断测验结果增加了人才选拔决策的风险和偏误即便是稳定性再高的情境判断测验在与其他测验比较时仍然不能忽略测验题项背后的行为范畴只有这样基于情境判断测验的结果预期才更具有理论意义其次,情境判断测验作为一种测量构念的研究范式近些年来广受关注,用于表现一些心理学概念如个体主动性、领导行为、情绪管理和文化定向等(Bledow&Frese,2009;Burrus,Betaneourt,Hottzman,Minsky,MacCam,&Robeas,2012;Ktinig,Steinmetz,Frese,Rauch,&Wang,2007;Libbrecht&Lievens,2012;Oostrom,Born,Sedie,&Van Der Molen,2012;Slaughter et a1.,2014)基于构念范式的情境判断测验是被作为一种概念来研究,它不局限于单一概念,更多情况下就像大五人格量表一样属于多维度概念。
Bledow和n—ese(2009)开发了个体主动性的情境判断测验(SJT of personal initiative,SJT-PI),运用情境偏好作为个体主动性的测量指标构念水平的情境判断测验具有很好的理论意义和视角.个体主动性作为主动性绩效包含个体的情境化的行动,而在以往的李克特量表中个体主动性的题目比较通用.情境化程度比较低.这样就很难如实地反应工作情境中的主动绩效Bledow和Frese采用情境判断测验是将工作情境加入了题项中.提高了个体主动性的情境化成分,同时也增加了情境判断测验的理论意义构念范式非常重要的特点是对概念构念和测量内容进行清晰的界定,测验题项间的关联性也会提升,从而保证了测验的构念效度、预测效度、效标关联效度和内部一致性系数 情境判断测验的方法范式和构念范式不是相互排斥的Christian等(2010)针对这个问题给出了学术研究和实际应用的建议首先在学术研究方面:(1)情境判断研究需要报告详细的构念信息和内容,而不是在方法水平上的复合概念;(2)情境判断测验中需增加构念验证的程序;(3)通过采用情境判断测验构念信息来保持构念的恒定.并可以用来比较不同形式的情境判断测验对于相关构念的影响等。
而在实际应用过程中,基于构念范式.管理者在选择人事评估工具时先要确定核心构念此外在选择测量构念时还要仔细考虑相关联的效标,因为当测量构念与效标匹配时效度会更好3.情境判断测验的理论基础情境判断测验主要是作为一种应用方法来研究.重点关注方法特征属性和实施过程.而对于情境判断背后的行为和认知机制缺乏深入的研究和探索为什么通过对情境问题的判断就能有效地预测个体绩效?情境判断与行为表现之间的内在逻辑该如何解释?目前.情境判断测验的基础理论主要有行为一致性假设与内隐特质策略理论3.1行为一致性假设行为一致性假设指出过去的行为是未来行为最好的预测指标(Whetzel&Mcdaniel,2009),个体行为存在跨情境的一致性个体在情境判断测验中的行为选择能够预测未来的工作绩效,并具有良好的效度指标(Mcdaniel.Morgeson,Finnegan,Campion,&Braverman,2001)根据行为一致性假设,情境判断测验提供的多种行为选项被认为是总体行为表现的一个样本,个体在情境中对各种行为样本进行判断并选择和评价,以此用样本行为来预测整体的行为倾向或未来的行为变化这是情境判断测验的理论前提,可以用来解释测验结果。
3.2内隐特质策略理论内隐特质策略理论(implicit trait policy theory)是解释情境判断测验认知机制的最新发展起来的理论(Motowidlo,Hooper,&Jackson,2006;Oostrom,Born,Serlie,&van der Molen,2012),用来解释情境判断测验与工作绩效之间的关系(见图1)该理论主要观点认为人格特质与行为效能之间存在因果关系,主要包括三个理论假设第一个假设认为情境判断测验所测量的程序知识与工作绩效存在因果关系个体在情境判断测验测得的程序知识越高,则工作绩效水平也就越高第二个假设认为人格特质与情境判断测验成绩也具有因果效应情境判断测验中存在特质匹配.不同行为的效能是由对应的人格特质来决定的比如具有高责任心特质的个体更愿意相信那些表达这种特质的行为选项.因此个体在特质匹配的情境中会做出更有效的行为表现(Motowidlo et al,2006)第三个假设认为内隐特质策略受到先前经验的影响.个体能否在特质匹配的情境中表现出一致性的行为会受到先前经验的影响借助先前经验,个体能够了解到在某种特定工作情景中呈现某种具体的人格特质要比另外的特质会更加有效。
4.类型比较4.1不同类型的情境判断测验比较情境判断测验具有多种不同的测验形式,比如书面形式、视频形式、多媒体形式等测验形式的变换并不是完全等价的.不同形式的测验具有不同的预测效度、增益效度和内部一致性系数等(Lievens&Saekett,2006),因此在设计或转换测验形式时需要谨慎,并能提供测验的效度指标Lievens与Sackett(2006)通过对比视频和书面两种测验形式在预测效度上的差异发现,在高风险测验环境中视频形式的情境判断测验(人际导向内容)相比书面测验,与认知能力具有更低的相关,但在预测人际导向效标方面具有更高的预测效度和增益效度视频形式的情境判断测验相比书面形式测验还具有更高的表面效度,而且还能够降低群组间在表面效度上的差异(Chan&Sehmitt,1997)多媒体形式的情境判断测验具有较好的效标关联效度,在一项研究中测量领导技能的多媒体情境测验能够很好地预测由同事和上级评定的领导行为,而且超过领导经验和人格量表的预测效度(Oostrom,Born,Serlie,&van derMolen,2012)但是多媒体情境测验效度除了受到测验内容和特征的影响外还会受到受测者个体特征的影响.比如个体的电脑焦虑特征与多媒体情境测验的工作关联性感知存在负相关关系.而核心自我评估、主观幸福感、宜人性、情绪稳定性、经验开放性特质与测验的工作关联性感知存在正相关关系(Oostrom e。












