第四篇 实施篇-质量控制.ppt

人才测评,曲阜师范大学经济学院2009-1010学年第2学期,第四篇 实施篇,实施篇,这一篇主要讲解人才测评的实施过程与质量控制包含以下内容： 第十一章 人才测评的具体实施和报告反馈 第十二章 人才测评的质量控制,第十二章 人才测评的质量控制,人员素质测评十一项十分复杂而又关键的工作它往往是资源合理配置的基础，是人力资源管理与开发过程的起点因此对于测评的结果必须进行质量分析质量分析的内容包括两个方面：一是分项素质测评结果分析，二是各项素质测评综合结果的分析分析的指标主要有信度、效度、适合度、区分度、独立性、选项质量等第十二章 人才测评的质量控制,第一节 信度(Reliability)第二节 效度(Validity) 第三节 信度和效度的关系第四节 项目分析,第十二章 人才测评的质量控制,第一节 信度(Reliability):1、概念2、类型3、信度系数4、提高信度的方法,第一节 信度,1、概念：信度（Reliability，可靠性） ，又称可信度是指测验结果（分数）的一致性/可靠性、稳定性，即测验结果是否反映了被测者的一贯的、稳定的真实特征——“稳不稳定”？ 一致性：使用关于同一项目的各种测量工具测量同一对象得到的各测量结果间显示出强烈的正相关，这表明测量结果具有很高的一致性。

(consistency)稳定性：用同一测量工具（在不同时空下）反复测评同一对象，多次测量结果差异很小，这就表明测评结果具有很高的稳定性 (stability) 测验结果跨时间的一致性；不同评分者之间的一致性；测验内容的一致性——同一测验内的各部分题目所测的是同一种行为或行为特征；,第一节 信度,笔记本电脑消费倾向调查问卷：如果设计的不同问卷对同一群体的调查结果或者同样的问卷短期内对同一群体进行多次调查的结果, 如消费者的品牌倾向、所能接受的价位等存在高度相似,则认为调查问卷具有较高的可信度2斤大饼的测量：如果使用不同的秤进行测量，各测量结果基本一致——一致性高如果使用同一杆秤进行多次测量，各次结果差异不大——稳定性高总而言之，如果称量结果等于或非常接近2斤，那么就表明信度非常高，如果测出来的是一斤半或者是两厘米，那就说明信度有问题,第一节 信度,2、分类：内在信度和外在信度 内在信度指的是每个测量工具量表是否测量同一概念，也就是组成量表的题项之间的内在一致性如何内在效度的最常用的检验方法是克朗巴哈α系数 外在信度指在不同时间进行测量时量表结果的一致性程度外在信度最常用的检验方法是再测信度（也称重测效度），即用同一量表在不同时间对同一对象进行重复测量，然后计算其一致性程度。

第一节 信度,3、信度系数信度指标是对信度的一种定量化的描述方式，信度指标的量化值称为信度系数，即反映信度大小的统计量误差,登记性误差,代表性误差,系统性误差,随机性误差,,,真实值与测量值之间的差距,,与非随机原因有关(抽样框、无回答等)，可消除,一个好的人事测量工具不仅要有尽可能高的精度，还必须能把误差控制在一个有规律的范围以内，这样测量得到的结果才比较稳定可信由于只有随机误差不可消除，因此，信度实际上是对随机误差的一种度量第一节 信度,3、信度系数总变异/方差的分解：测量值的方差等于真实值的方差与随机误差的方差之和,信度系数：反映了真实值方差对总方差的解释能力测量值的方差，真实值的方差，随机误差的方差,,,,信度的意义：,信度指实测值和真值相差的程度信度指统计量与参数之间的接近程度信度是指一种测验对相同的应试者再次测验时引起同样反应的程度,第一节 信度,信度系数分类（1）再测信度（重测信度）：又称为稳定性系数即指测评结果与以同样的测评工具（量表）、测评方式与测评对象再次测评的结果间的差异程度其计算方法之一就是对两次测量结果求皮尔逊相关系数再测信度的前提假设是每个应试者对前一次测验的遗忘程度相同，而且在重测间隔间没有学过与测验有关的其他材料，或者说每人所学习的程度相同。

强调跨时间的一致性）,两斤油，如果今天称是两斤，但是明天称就成了一斤半，那说明信度不高2）复本信度 是以两个测验复本（功能等值但题目内容不同）来测量同一群体，然后求得应试者在这两个测验上得分的相关系数（等值性系数，斯皮尔曼相关系数） 其优点表现在：能够避免重测信度的一些问题，如记忆效果、练习效应等；减少了和作弊的可能性强调跨形式的一致性）,因为任何测验只是所有可能题目中的一份取样（行为样本），所以可编制许多平行的等值测验，叫做复本用天平称的结果是两斤，用手提秤称的结果也是两斤，说明复本信度较高,第一节 信度,（3）内部一致性信度 是指测量同一素质的各测评项目分数间的一致性程度内部一致性信度主要反映的是测验内部题目之间的关系，考察测验的各个题目是否测量了相同的内容或特质对一致性信度的常见分析方法有两种：拆/折/分半信度（split-half）系数和克朗巴哈α系数（指量表所有可能的项目划分方法的得到的折半信度系数的平均值）分析拆半信度系数的基本思路是将量表一分为二后分别计算两部分的相关系数r ，再把相关系数r代入如下校正公式：,把两斤分为两个一斤，如果分别测出来是1斤和一斤半，说明分半信度有问题。

第一节 信度,（3）内部一致性信度 克朗巴哈α系数（指量表所有可能的项目划分方法的得到的折半信度系数的平均值）：,（4）评分者信度 评分者信度是指不同评分者对同样对象进行评定时的一致性揭示的是测评结果中个体的主观误差它主要用于分析通过面试与观察评定等主观性的测评方法获得的结果的可靠性分析如投射测验、创造力测验、无领导小组讨论、管理者情景模拟测验等评分者信度分析一般采用肯德尔和谐系数公式计算出信度系数第一节 信度,评分者信度与测评方法对测评结果的影响：高信度的测评者用高信度的测评方法获得高信度的测评结果；高信度的测评者用低信度的测评方法难以获得高信度的测评结果；低信度的测评者用高信度的测评方法难以获得高信度的测评结果；低信度的测评者用低信度的测评方法获得的测评结果必然不可靠第一节 信度,信度系数的判定 信度系数越大，表明测量的可信程度越大，但也无法期望两次测验结果完全一致信度除受测验质量影响之外，还受很多其他受测者因素的影响，故没有一份测验是完全可靠的不同研究者对信度系数的界限值有不同的看法，一般认为，0.6~0.65不可信，0.65~0.70是最小可以接受的值，0.7~0.8为相当好，0.8~0.9就是非常好。

第一节 信度,4、提高测评结果信度的方法：一要选择高质量的测评工具，二要控制测评过程及其系统的误差，三要训练与提高测评者的操作水平各种信度系数相应误差变异的来源,第二节 效度(Validity) 1、概念2、类型3、影响因素4、效度要求5、提高效度的方法,第二节 效度,1 概念validity[工具（测量）的效度]效度是指所测评结果对所测素质反映的真实程度，反映测评的有效性和正确性——“准不准确”？ 测量结果与要考察内容越相吻合则效度越高；反之，则效度越低效度受系统误差和随机误差的双重影响举例：一项考察管理人员逻辑推理能力的测验中，如果题目的文字表述过于晦涩，行文十分怪癖，又过多地使用许多不常见的词汇，可能决定测验分数高低的就主要是被测者的语文理解水平，而不是逻辑推理能力，这样的测验就没有测量到其本应该测的素质特征，其结果无法用于评价被测者相应的能力，其效度就低2斤大饼的测量：如果测出来的是馒头或者石块，不是我们想要的大饼，那就是效度的问题——测非所测,第二节 效度,效度系数：一般规定为与测量目标值的方差在总测量值方差中所占的比例,测量目标值的方差,总测量值方差即：有效变异,,,随机误差的方差,,与测量目的不相关的系统性偏差的方差,,第二节 效度,2 分类 对于测评结果对所测素质真实程度的常用考评方法有三种：从内容性质方面分析其内容效度；从效标相关性方面分析其关联效度；从实证方面分析其结构效度。

1）内容效度/表面效度/逻辑效度 概念：内容效度是指实际测评的内容与我们所想测评内容的一致性程度内容效度的分析主要是分析被包括在测评范围之内的所有被测行为样本是否具有代表性，代表性如何其分析具体为两个方面的检查：一看是否包括了欲测素质中的各种成分；二看包括在测评范围内的行为样本的比例结构是否与工作分析的结果相一致第二节 效度,（1）内容效度 /表面效度/逻辑效度 应用范围：主要应用于成就测验、职业测验不适合能力倾向测验和人格测验确定方法 ：内容效度的分析目前主要采用定性方法蓝图对照分析法：看实际测评的内容与蓝图的适合性；专家比较判断法，由多位专家分析评判是否有内容效度，再按照下列公式计算： 其中， 表示持肯定评判的人数，N表示评判总人数第二节 效度,（2）结构效度 概念：也称构想效度、建构效度，是实际所测评的结果与所想测评素质的同构程度 结构效度关注的问题是测验是否能正确反映理论构想的特征 而不同的人其构想是不一样的，例如： 对于忠诚的认识，人们的看法是不一致的李某认为忠诚这一素质就是对企业的忠诚，张某认为忠诚这一素质主要表现为实事求是的态度。

这样，对于向其他企业泄露本品存在的问题这一行为，显然李某和张某两个人会把它归类到不同的素质成分中并给予不同的评价第二节 效度,因此，结构效度与检验效度的人对素质结构的理解有着直接关系，因此，结构效度的检验分析是一种定性的主观判断在分析考评过程中，应该采取有力措施把主观影响控制在最低点上，从实证方面分析其结构效度 适用范围：适用于智力测验、人格测验等第二节 效度,结构效度确定方法、步骤 ：⑴提出理论假设，并将其分解成细目——采用工作分析法，对所想测评的素质进行结构分析与行为分析，确定各种素质结构成分及其代表行为⑵依据理论框架，推演出有关测验成绩的假设（操作化定义）——给所要测评的素质的结构模式下一个操作化的定义⑶用逻辑的和实证的方法来验证假设（排除法、咨询法、相关法、逻辑分析法、多元分析法）——收集事实资料，判断结构效度,第二节 效度,结构效度确定方法、步骤 ：举例：韦克斯勒首先假设“智力是一个人去理解和应付他周围世界的总的才能”——提出理论假设然后，他依据这一定义，编制11个分测验从十几个方面来说明智力，编好测验又从多个角度加以验证——操作化最后，用因素分析法验证，该测验实际测量了三类共同因素，即A因素（言语理解）、B因素（知觉组织）、C因素（记忆和注意集中）。

——验证假设（判断结构效度）,第二节 效度,（3）关联效度 概念：关联效度是指测评结果与某种标准结果的一致性程度使用多种测评方式或指标对同一变量进行测量，将其中一种方式或指标作为标准，其它与之比较，若具有相同效果，则表明具有分类：根据效标（效标是用来衡量测评有效性的参照标准）结果与测评结果获得的时间是否相同，可以划分为共时效度和预测效度 当作为效标的结果与测评结果是同时获得的，那么这种效度叫做共时效度，它多用于诊断现在的状态；当作为效标的结果是后来测评中获得的，那么这种关联效度就是预测效度，它是现在的测评结果对未来素质发展的预测程度，多预测未来会发生的情形外在标准,第二节 效度,关联效度举例说明：“某人成功了吗？”“某人患病了吗？” 属于具有同时效度性质的测验要求回答的问题；“某人会成功吗？”“某人会患病吗？”具有预测效度性质的测验要求回答的问题但无论何种情况，都应该从效标相关性方面分析其关联效度 即：关联效度的分析关键在于效标的选择，因为效标识衡量测评结果有效性的参照标准。