人力资源-素质测评培训（PPT36页）

素质测评培训 素质测评的效度分析 效度的定义 效度与信度的关系 如何估计素质测评的效度 影响效度的因素 第十一章 素质测评的效度分析 一、效度的涵义 效度（ ： 指测量的有效性。即能测量到所要测量的目标的程度。 效度的理论模型 测评分数 = 真分数 要测量 的特征 随机误差 不一致 + 2222系统误差 与所测特征 无关的特征 + 二、效度与信度的关系 信度考察具有偶然性、不稳定性的随机误差的大小；效度考察稳定的、有规律的系统误差的大小。 一般而言，效度的作用比信度的作用更为重要。 信度高的测试不一定效度高。但效度高的测验往往它的信度也较高。 三、效度的性质 测验的效度 测量结果的效度 ：测量结果的准确性程度，而非测验本身。 效度是连续性的，效度高低只是程度上的差别，不是“全有”，“全无”的变量。避免评价某某一测评的结果为“有效”和“无效”。 四、如何评估效度？ 内容效度 构想效度 效标关联效度 1、内容效度 测验的行为样组能代表所测量的特质的程度。 也即采用的测评工具能够测量到某些特质的程度。 内容效度的评估方法 （ 1）一般而言，没有可用的量化指标，只能靠推理和专家判断来进行评估。 较好的内容效度依赖于两个条件： 测验 内容范围 明确；测验内容的取样有代表性。 （ 2） 也可采用一些统计方法：如：评分者信度；复本信度。 内容范围 内容范围 ：代表了能用来测量个体某个特征的 所有行为样组 ，而每个测评工具都应是一个 特定行为范围的抽样 。 内容范围应具备的特点： 边界结构 内容效度的评估方法 社会问题 政治问题 文化问题 欧洲 18 19世纪 4 5 5 美洲 18 19世纪 3 5 3 亚洲 18 19世纪 3 3 4 双向细目表示例 内容效度的应用 最适合于评估教育和职业成就测验。 也适于某些用于选拔和分类的素质测评。因为这种测评中，测验内容是实际工作的一个样本，应包括实际工作所需要的技能和知识。所以，应该通过内容效度的分析来确定测验是否的确测量了实际工作中所需的知识和技能。 不适于能力倾向测验和人格测验 。 它们不是建立在某种教学课程或工作知识和技能的基础上。同一测验对于不同被试来说测量的是不同的心理过程。 2、构想效度 测验能测量到的理论上的构想或特质的程度。 构想（ 抽象的假设性的概念。如智力、创造力、言语流畅性、焦虑等。 构想不能直接测量，需要借助测评工具。 2、构想效度 “构想” 的特点： （ 1）抽象性 （ 2）和具体的可观察的事件相联系 确定 “构想” 的步骤（ 理论模型的建立 ）： 明确那些和测量的构思相关的行为样组； 明确该构思和其他一些构思是否相关； 明确其他构思相关的行为样组。 2、构想效度 成就动机 树立有一定挑战性 的目标； 冒适当的风险 对自己的行为负责 喜欢反馈 努力做某件事，直 到达到目标 做事有事先安排 独立完成工作 积极主动与客户沟通 主动性 创新性 分析能力 人际能力 / 两个测验的构想效度比较 假设与构想之间的关系 实际相关 树立挑战性的目标 强，正相关 适当的风险 强，正相关 自己的行为负责 强，正相关 欢反馈 强，正相关 力做某事，直到达到目标 强，正相关 事有事先安排 弱，正相关 立完成工作 弱，正相关 极主动和客户沟通 无相关 何估计 构想效度 ？ （ 1）测验内方法 通过分析测验内部构造 （ 2）测验间方法 考察几个测验间的相互关联 （ 1）测验内方法 A. 以内容效度作为构想效度的指标； B. 被试回答测题时的反应过程； C. 测验的同质性 （库特理查逊 20号公式等） D. 因素分析法 根据相关性的大小把变量分组，使得同组内的变量相关程度高；不同组变量间的相关较低；由此可以判断测验究竟测到了几个彼此独立的因素。 （ 2）测验间方法 A. 相容效度 理论上，测验相同构想的各测验之间应该有较高的相关。而测量不同构想的测验之间相关要很低。 如，评价新编制的智力测验时，通常要计算这个测验与韦氏量表的相关。 （ 2）测验间方法 B. 聚合效度和辨别效度 聚合效度又称为求同效度 。其基本思想：如果两个测验是测量同一特质的，即使使用不同方法进行测量，它们之间的相关也应该是高的。 辨别效度又称求异效度 ，其基本思想：如果两个测验测量的是不同特征，即使使用相同的方法进行测量，它们之间的相关也应该是低的。 例如：比较用 面试、测验、观察法 3种方法分别测评 成就动机 这个特征所得分数的相关性。 （ 2）测验间方法 C. 发展水平的变化 智力测验中最常用的标准是年龄差异。 儿童的智力随年龄的增长而增长，那么，智力测验分数也应该随着年龄的变化而变化。因此，如果测验有效，测验分数应该反映这种变化。 3、效标关联效度 称效标效度（ 反映测验分数与外在标准（效标）的相关程度。或言之，用测验分数对个体的效标行为表现进行预测的有效性程度。 效标关联效度常用于预测性测验，用于甄选决策。 何谓 “效标”？ 效标： 考察测验效度的外在参考标准，或言之，被预测的行为水平。它是用来检验效度的标竿。 例： 一个机械能力倾向测验，其效标可以是成为机械师后的工作表现； 对于一个管理技能测验而言，其效标可以是将来管理工作的绩效。 “明星员工” 可以作为员工选拔的效标； “学业成功” 可以作为大学生入学考试的效标 效标测量 效标测量： 可操作的测量标准。 观念效标： 效标的概念内容。 例如：对于筛选销售人员的销售技巧测验而言，其观念效标是“销售工作的成功”，而效标测量往往用“年销售量”。 效标污染 ：由于评定效标者预先知道测验分数而影响效标确定的情形。 例如：一方面要评价管理者的管理技能，另一方面要评价管理者的实际管理业绩作为效标。 常用的效标 学术成就 特殊训练成绩 实际工作表现 团体对照 等级评定 先前有效的测验 效标效度的分类 根据收集效标的时间不同，可以将效标效度进一步区分为： 预测效度（ 同时效度 (预测效度 其效标资料往往是测量结束后隔一段时间才获得。它反映的是由测验分数对任一段时间间隔后被试行为表现的预测程度。 理想的评估效度的方法，但不合实际。 同时效度 其效标材料和测验分数差不多同时搜集。 同时效度 的评估不需要长期追踪，所以应用比较普遍 同时效度和预测效度 的差异根源不再与收集效标的时间，而是在于测验目的地不同。前者在于诊断现在的状态，后者多预测未来的结果。 “某人成功了吗？”“某人会成功吗？” 如何评估效标效度？ 效度系数：指测验分数和效标分数之间的相关系数。 当测验分数和效标分数都是定距数据时，可采用积矩相关系数。 假设有 10名候选人经职业兴趣测验而选定推销员工作，其测验分数见表第一行，而第二行是经过若干年后他们某段时间内的销售金额总量。试问该测验的预测效度？ 被 试 1 2 3 4 5 6 7 8 9 10 测验 X 30 34 32 47 20 24 27 25 22 16 销售额 Y 4 、影响效度的因素 测验的因素 样本团体的因素 效标的性质 1、测验的因素 测验题目的质量 实施测验时的干扰因素 被试的影响因素 测验的长度 2、样本团体的性质 对于同一个测验，效度团体的性质不同，效度会有较大的差别 效度团体的性质包括年龄、性别、教育水平、智力水平、动机水平等有关特性。 例如：同一项算术测试，对于能力较差的被试可能测量的是数学运算能力，但对于能力强的被试，可能测量的不过是对以前所学内容的会议能力和计算能力。 同一能力倾向测验，对开车有兴趣的司机的预测效度要高于司机总体。 3、效标的性质 一般而言，如果其他条件相同，所测量的行为或心理特征与效标行为或特征越相似，效度系数就越高。 思考题 1、 效度与信度的关系 ？ 2、 内容效度适用于人格测验吗 ， 为什么 ？ 3、 什么是构想效度 ？ 4、 常用的效标有哪些 ？ 5、 你认为如果要考察一个管理人员的能力 ， 可能的效标是什么 ， 为什么 ？