
信效度的个人整理.pdf
3页效度( Validity)即有效性,它是指测量工具或手段能够准确测出所需测量的事物的程度 效度是指所测量到的结果反映所想要考察内容的程度,测量结果与要考察的内容越吻合,则 效度越高;反之,则效度越低效度分为三种类型:内容效度 、准则效度和 结构效度 一效度评估的方法 一、内容效度( content-related validity) 内容效度指的是测验题目对有关内容或行为取样的适用性,从而确定测验是否是所欲测 量的行为领域的代表性取样 二内容效度的评估方法 1. 专家判断法 2. 统计分析法 (评分者信度付本信度 再测法 )3. 经验推测法 ( 实验检验 ) 三内容效度的特性 内容效度经常与表面效度(face validity)混淆表面效度是由外行对测验作表面上的检查 确定的,它不反映测验实际测量的东西,只是指测验表面上看来好像是测量所要测的东西; 内容效度是由够资格的判断者(专家)详尽地、系统地对测验作评价而建立的 二、构想效度( construct-related validity) 指测验能够测量到理论上的构想或特质的程度,即测验的结果是否能证实或解释某一理论的 假设、术语或构想,解释的程度如何。
二构想效度的估计方法 1. 对测验本身的分析(用内容效度来验证构想效度) 2. 测验间的相互比较:相容效度(与已成熟的相同测验间的比较)、区分效度(与近似或应区 分测验间的比较)、因素分析法 3. 效标效度的研究证明 4. 实验法和观察法证实 三、效标效度( criterion-related validity) 一效标效度又称实证效度,反映的是测验预测个体在某种情境下行为表现的有效性程度根 据效标资料是否与测验分数同时获得,又可分为同时效度 ( 实际士气高和士气低的人在士气测 验中的得分一致性 ) 和预测效度两类 一个好的效标必须具备以下条件: ①效标必须能最有效地反映测验的目标,即效标测量本身必须有效; ②效标必须具有较高的信度,稳定可靠,不随时间等因素而变化; ③效标可以客观地加以测量,可用数据或等级来表示; ④效标测量的方法简单,省时省力,经济实用 二效标效度的评估方法 1. 相关法:效度系数是最常用的效度指标,尤其是效标效度它是以皮尔逊积差相关系数来 表示的,主要反映测验分数与效标测量的相关当测验成绩是连续变量,而效标资料是二分 变量时,计算效度系数可用点二列相关公式或二列相关公式;当测验分数为连续变量,效标 资料为等级评定时,可用贾斯朋多系列相关公式计算。
2. 区分法:是检验测验分数能否有效地区分由效标所定义的团体的一种方法算出t 值后, 便可知道分数的差异是否显著若差异显著, 说明该测验能够有效地区分由效标定义的团体, 否则,测验是无效的重叠百分比可以通过计算每一组内得分超过(或低于)另一组平均数 的人数百分比得出;另外,还可以计算两组分布的共同区的百分比重叠量越大,说明两组 分数差异越小,即测验的效度越差 3. 命中率法:是当测验用来做取舍的依据时,用其正确决定的比例作为效度指标的一种方法 命中率的计算有两种方法,一是计算总命中率,另一种是计算正命中率 4、预期表法:是一种双向表格,预测分数排在表的左边,效标排在表的顶端从左下至右上 对角线上各百分数字越大,而其它的百分数字越小,表示测验的效标效度越高;反之,数字 越分散,则效度越低二效度分析 单项与总和相关效度分析 表面效度( Face Validity) 也称为内容效度或逻辑效度,指的是测量的内容与测量目 标之间是否适合,也可以说是指测量所选择的项目是否“看起来”符合测量的目的和要求 主要依据调查设计人员的主观判断 这种方法用于测量量表的内容效度内容效度又称表面效度或逻辑效度,它是指所设计 的题项能否代表所要测量的内容或主题。
对内容效度常采用逻辑分析与统计分析相结合的方 法进行评价逻辑分析一般由研究者或专家评判所选题项是否“看上去”符合测量的目的和 要求统计分析主要采用单项与总和相关分析法获得评价结果,即计算每个题项得分与题项 总分的相关系数,根据相关是否显著判断是否有效若量表中有反意题项,应将其逆向处理 后再计算总分 准则效度分析 准则效度( Criterion Validity) 又称为 效标效度 或预测效度准则效度是指量表所得 到的数据和其他被选择的变量(准则变量)的值相比是否有意义根据时间跨度的不同,准 则效度可分为同时效度和预测效度准则效度分析是根据已经得到确定的某种理论,选择一 种指标或测量工具作为准则(效标) ,分析问卷题项与准则的联系,若二者相关显著,或者问 卷题项对准则的不同取值、特性表现出显著差异,则为有效的题项评价准则效度的方法是 相关分析或差异显著性检验 在调查问卷的效度分析中, 选择一个合适的准则往往十分困难, 使这种方法的应用受到一定限制 结构效度分析 建构效度 (Construct Validity) 是指测量结果体现出来的某种结构与测值之间的对应 程度 结构效度 分析所采用的方法是因子分析。
最关心的问题是:量表实际测量的是哪些特 征?在评价建构效度时,调研人员要试图解释“量表为什么有效”这一理论问题以及考虑从 这一理论问题中能得出什么推论建构效度包括同质效度、异质效度和语意逻辑效度有的 学者认为,效度分析最理想的方法是利用因子分析测量量表或整个问卷的结构效度因子分 析的主要功能是从量表全部变量(题项)中提取一些公因子,各公因子分别与某一群特定变 量高度关联,这些公因子即代表了量表的基本结构通过因子分析可以考察问卷是否能够测 量出研究者设计问卷时假设的某种结构在因子分析的结果中,用于评价结构效度的主要指 标有累积贡献率、 共同度和因子负荷 累积贡献率反映公因子对量表或问卷的累积有效程度, 共同度反映由公因子解释原变量的有效程度,因子负荷反映原变量与某个公因子的相关程度2 信度 主要是指 测量结果 的可靠性、一致性和稳定性,即测验结果是否反映了被测者的稳定 的、一贯性的真实特征和信度相关的一个概念是效度,信度是效度的前提条件 信度只受随机误差的影响,随机误差越大,信度越低因此,信度可以视为测试结果受随机 误差影响的程度系统误差产生恒定效应,不影响信度指标 信度系数与信度指数 大部分情况下,信度是以信度系数为指标,它是一种相关系数。
常常是同一被试样本所得到 的 两 组 资 料 的 相关 , 理 论上 说 就 是 真 分 数 方 差 与 实 得 分 数方 差 的 比值 , 公 式为 : r(xx)=r^2(xt)=S^2(t)/S^2(x)公式中 r^2(xt)是真分数标准差与实得分数标准差的比值, 称作信度系数,公式为:r(xt)=S(t)/S(x)可见信度指数的平方就是信度系数 测量标准误 信度系数仅表示一组测量的实得分数与真分数的符合程度,但并没有直接指出个人测验分数 的变异量我们可以用一组被试两次测量结果来代替对同一个人的反复施测,于是有了信度 的另一个指标,公式为: SE=S(x)√1-r(xx)公式中 SE为测量的标准误, S(x) 是所得分数的标准差,r(xx) 为测验的信度系数, 从公式我们可以看出测量的标准误与信度之间有互为消长的 关系:信度越高,标准误越小,信度越低,标准误越大3 评估方法 重测信度又称为稳定性系数,它的计量方法是采用重测法:用同一测验,在不同时间对同一 群体施测两次,这两次测量分数的相关系数即为重测系数 重测信度所考察的误差来源是时间的变化所带来的随机影响在评估重测信度时,必须注意 重测间隔的时间。
对于人格测验,重测间隔在两周到6 个月之间比较合适 在进行重测信度的评估时,还应注意以下两个重要问题:⑴重测信度一般只反映由随机因素 导致的变化,而不反映被试行为的长久变化⑵不同的行为受随机误差影响不同复本信度是以两个测验复本来测量同一群体,然后求得应试者在这两个测验上得分的相关系 数复本信度的高低反映了这两个测验复本在内容上的等值性程度两个等值的测验互为复 本计算复本信度的主要目的在于考察两个测验复本的题目取样或内容取样是否等值复本 信度也考虑两个复本实施的时间间隔 复本信度的主要优点在于:⑴能够避免重测信度的一些问题,如记忆效果、练习效应等;⑵ 适用于进行长期追踪研究或调查某些干涉变量对测验成绩影响;⑶减少了或作弊的可能 性复本信度的局限性在于:⑴如果测量的行为易受练习的影响,则复本信度只能减少而 不能消除这种影响;⑵有些测验的性质会由于重复而发生改变;⑶有些测验很难找到合适的 复本 内部一致性信度主要反映的是测验内部题目之间的信度关系,考察测验的各个题目是否测量 了相同的内容或特质内部一致性信度又分为分半信度和同质性信度 1、分半信度系数是通过将测验分成两半,计算这两半测验之间的相关性而获得的信度系数。
测验愈长,信度系数愈高修正公式是斯皮尔曼- 布朗公式斯皮尔曼 -布朗公式为校正分半 信度的经验公式,它的假设是两半测验分数的变异数相等当假设不成立时,可以采用弗朗 那根( Flanagan)公式或卢伦( kulon )公式之一,直接求得测验的信度系数 2、同质性信度是指测验内部的各题目在多大程度上考察了同一内容同质性信度低时,即使 各个测试题看起来似乎是测量同一特质,但测验实际上是异质的,即测验测量了不止一种特 质同质性分析与项目分析中的内部一致性分析相类似几个计算同质性信度的公式:(1) 库德- 理查逊公式( 2)克伦巴赫 α 系数对于一些复杂的、异质的心理学变量,采用单一的 同质性测验是不行的,因而常常采用若干个相对异质的分测验 评分者信度 是指不同评分者对同样对象进行评定时的一致性最简单的估计方法就是随机抽取若干 份答卷,由两个独立的评分者打分,再求每份答卷两个评判分数的相关系数这种相关系数 的计算可以用积差相关方法,也可以采用斯皮尔曼等级相关方法。












