第二章-教育测量的质量指标1(信度)课件.ppt

第二章　教育测量的质量指标第二章　教育测量的质量指标信度信度·效度效度·难度难度·区分度区分度第二章第二章 教育测量的质量指标教育测量的质量指标n衡量教育测量的质量，可采用四个指标：衡量教育测量的质量，可采用四个指标：n信度信度 主要对整个测量而言主要对整个测量而言n效度效度 n难度难度 主要对测量的项目而言主要对测量的项目而言n区分度区分度 第一节　信度第一节　信度n一、信度的概念一、信度的概念n二、信度系数的类型二、信度系数的类型n三、信度对于教育测量的意义三、信度对于教育测量的意义n四、提高信度的方法四、提高信度的方法一、信度的概念一、信度的概念Ø信度（信度（reliabilityreliability）：）：指的是测量结果的指的是测量结果的稳定性和可靠的程度稳定性和可靠的程度，亦即测量的结果是否，亦即测量的结果是否真实、客观地反映了考生的实际水平，可记真实、客观地反映了考生的实际水平，可记为为r rxxxxØ具体而言，可以从以下三方面来理解测量的具体而言，可以从以下三方面来理解测量的信度：信度：（一）信度指实测值和真值相差的程度（一）信度指实测值和真值相差的程度n x x＝＝T T＋＋E E　　（公式　　（公式1-11-1））nx x表示实测值，表示实测值，T T表示真值表示真值( (是未知的，可以是未知的，可以把多次测量的实测值的平均值作为真值的近似把多次测量的实测值的平均值作为真值的近似值值) )，，E E表示误差。

表示误差n　　　　　　　　E E＝＝x-T x-T （公式（公式1-1-2 2））（一）信度指实测值和真值相差的程度（一）信度指实测值和真值相差的程度n1 1、试比较以下两次测量结果（只进行一、试比较以下两次测量结果（只进行一次）的信度：次）的信度：n用尺子量用尺子量100cm100cm高的一个儿童，得到高的一个儿童，得到1cm1cm的绝对误差；量的绝对误差；量185cm185cm高的一位运动员，高的一位运动员，也得得到也得得到1cm1cm的绝对误差的绝对误差要要比较两种测量结果的信度，一定要看误差分数比较两种测量结果的信度，一定要看误差分数（（E E））对于真分数（对于真分数（T T））所占的百分数是多少这个所占的百分数是多少这个百分数表示该实得分数（百分数表示该实得分数（x x））的相对误差其计算式的相对误差其计算式如下：如下：　　　　　　相对误差＝相对误差＝E/T×100%E/T×100%　　　公式（　公式（1-31-3））把上述两次测量（设为甲和乙）和绝对误差分数和把上述两次测量（设为甲和乙）和绝对误差分数和真分数代入上式，得：真分数代入上式，得： 相对误差（甲）＝相对误差（甲）＝1/100×100%1/100×100%＝＝1%1%　　　相对误差（乙）＝　　　相对误差（乙）＝1/185×100%1/185×100%＝＝0.54%0.54%据此，度量乙的信度要比度量甲的信度高。

据此，度量乙的信度要比度量甲的信度高 最大绝对误差＝最大绝对误差＝E/x ×100%E/x ×100%　　　　公式（公式（1-41-4））2 2、怎样估计对一组人或一个人测量、怎样估计对一组人或一个人测量多次多次的实测的实测值与真值（真分数）的差异程度呢？值与真值（真分数）的差异程度呢？n判别两组数据谁好谁差判别两组数据谁好谁差, ,不能只靠对平均数的不能只靠对平均数的统计和比较，关键是确定这两组数据偏离各自统计和比较，关键是确定这两组数据偏离各自的平均数的大小为了消除数据容量的影响，的平均数的大小为了消除数据容量的影响，我们借鉴研究加权平均数的方法，选用各个偏我们借鉴研究加权平均数的方法，选用各个偏差的平方的平均数，来描述一组数据偏离其平差的平方的平均数，来描述一组数据偏离其平均数的大小，这就是均数的大小，这就是方差方差n根据假设，实得分数的根据假设，实得分数的方差方差应等于真分数的方差加上应等于真分数的方差加上测量误差的方差即：测量误差的方差即： n 公式（公式（1-51-5））2 2、怎样估计对一组人或一个人测量、怎样估计对一组人或一个人测量多次多次的实测的实测值与真值（真分数）的差异程度呢？值与真值（真分数）的差异程度呢？n于是，信度（于是，信度（r rxxxx））可定义为真分数的方差与实得分数方差的比率。

可定义为真分数的方差与实得分数方差的比率即：　即：　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 公式（公式（1-61-6）） 公式（公式（1-71-7））可见，可见， 越小，测量的信度就越高信度的取值范围为越小，测量的信度就越高信度的取值范围为［［0 0，，1 1］例：对例：对5 5个人的某种智力因素的测验结果如个人的某种智力因素的测验结果如表表1 1-1-1，试估计测量的信度试估计测量的信度n表表1-11-1　测量　测量5 5个学生的某种分数个学生的某种分数学生学生真分数真分数误差分数误差分数实得实得分数分数A A1818-2-21616B B9 9+1+11010C C1515+2+21717D D2121+1+12222E E1212-2-21010　　　　 学生　　　真分数　误差分数　　　实得分数学生　　　真分数　误差分数　　　实得分数　　A A　　　　　　　　1818　　　－　　　－2 2　　　　　　　　　　1616　　B B　　　　　　　　9 9　　　　　　 ＋＋1 1　　　　　　　　　　1010　　C C　　　　　　　　1515　　　＋　　　＋2 2　　　　　　　　　　1717　　　　　　　　D D　　　　　　　　2121　　　＋　　　＋1 1　　　　　　　　　　2222　　　　　　　　　　E E　　　　　　　　1212　　　－　　　－2 2　　　　　　　　　　1010　　　　　　　　平均数　　平均数　　 1515　　　　　　　　0 0　　　　　　 　　 1515　　　　　　 方差　　　方差　　　1818　　　　　　2.82.8　　　　　　　　　　20.820.8　　v统计量是指样本上的各种数字特征。

如样本平均数、统计量是指样本上的各种数字特征如样本平均数、标准差等）；参数是总体上的各种数字特征（如总体平标准差等）；参数是总体上的各种数字特征（如总体平均数、标准差等）均数、标准差等）v在统计学中，统计量越接近参数，这个统计量的可靠在统计学中，统计量越接近参数，这个统计量的可靠性越高而要知道统计量与参数的接近程度，可以对参性越高而要知道统计量与参数的接近程度，可以对参数进行区间估计数进行区间估计二）信度指统计量与参数之间的接近程度（二）信度指统计量与参数之间的接近程度v我们不妨将测量的平均值看做平均数抽样分布中的一个平我们不妨将测量的平均值看做平均数抽样分布中的一个平均数，真值视为平均数抽样分布的总平均数（均数，真值视为平均数抽样分布的总平均数（μμ），），这样一这样一来，只要能估计出实得分数分布的来，只要能估计出实得分数分布的标准差标准差——测量的标准误测量的标准误，，就可以利用就可以利用区间估计的公式区间估计的公式，算出实测值与真值的接近程度，，算出实测值与真值的接近程度，从而计算出测量结果的信度从而计算出测量结果的信度二）信度指统计量与参数之间的接近程度（二）信度指统计量与参数之间的接近程度例例：根据对一组人（设根据对一组人（设n＞＞30））进行某种智力因素测验的进行某种智力因素测验的结果，计算出有关统计量如下，求真分数的置信区间结果，计算出有关统计量如下，求真分数的置信区间（或真值在什么数值的范围内）。

或真值在什么数值的范围内）（三）信度指两次重复测验或等值测验（三）信度指两次重复测验或等值测验之间的关联程度之间的关联程度n统计学中估计事物或现象间数量变动的一致性，统计学中估计事物或现象间数量变动的一致性，主要采用相关分析的方法，即计算出两种变量的主要采用相关分析的方法，即计算出两种变量的相关系数（相关系数（r rxyxy）n在使用相关系数表示信度的高低时，相关系数可在使用相关系数表示信度的高低时，相关系数可称为信度系数称为信度系数(coefficient of reliability)(coefficient of reliability)它是对相同应试者的同一特性的两次测量分数的它是对相同应试者的同一特性的两次测量分数的相关系数，是测量结果的一致性的指标相关系数，是测量结果的一致性的指标三、信度系数的类型三、信度系数的类型n（一）稳定性系数（一）稳定性系数n（二）等值性系数（二）等值性系数n（三）内部一致性系数（三）内部一致性系数n（四）论文式测验的信度系数（四）论文式测验的信度系数n（五）评分者信度（五）评分者信度（一）稳定性系数（一）稳定性系数（（ coefficient ofcoefficient of stabilitystability ））n又称重测信度，是指用同一量表对相同又称重测信度，是指用同一量表对相同被试者（一组人）在不同时间测验两次被试者（一组人）在不同时间测验两次的实得分数的相关系数。

的实得分数的相关系数估计稳定性系数的基本程序：估计稳定性系数的基本程序： 测验测验A A1 1 适当时距适当时距 测验测验A A2 2（一）稳定性系数（一）稳定性系数n相关系数可以用不同方法计算，这取决于数据相关系数可以用不同方法计算，这取决于数据的性质最为普遍的是皮尔逊积差相关系数：的性质最为普遍的是皮尔逊积差相关系数： X为第一次测验的实得分数; Y为第一次测验的实得分数; N为应试者数.（一）稳定性系数（一）稳定性系数n用一个算术四则的速度测验用一个算术四则的速度测验1212个小学生，得分个小学生，得分记为记为X X，为了考察测量结果的可靠性，于，为了考察测量结果的可靠性，于3 3个月个月后再测一次，得分记为后再测一次，得分记为Y Y，问测验结果是否可，问测验结果是否可靠？靠？n序号序号 1 2 3 4 5 6 7 8 9 10 11 121 2 3 4 5 6 7 8 9 10 11 12nX 20 20 21 22 23 X 20 20 21 22 23 2323 2323 24 25 26 24 25 26 2626 27 27nY 20 21 Y 20 21 2121 20 23 20 23 2323 25 25 2525 26 26 2626 27 29 27 29　　　　　　　　 A1A1A2A2X X2 2Y Y2 2XYXYX XY Y010102020303040405050606070708080909101011111212202020202121222223232323232324242525262626262727202021212121202023232323252525252626262627272929400400441484529529529576625676676729 400441441400529529625625676676729841 400420441440529529625625650676702783 ΣXΣX＝＝280280ΣYΣY＝＝286286ΣXΣX2 2＝＝65946594ΣYΣY2 2＝＝69126912ΣXYΣXY＝＝64206420解解:(1)把资料列表于后把资料列表于后,计算出公式计算出公式(1-10)所需的所需的各种统计量各种统计量:ΣX＝＝280 ΣY＝＝286 ΣX2＝＝6594ΣY2＝＝6912 ΣXY＝＝6420(2)把所计算的统计量代入公式把所计算的统计量代入公式(1-10):采用重测法计算稳定系数时，要注意的问题采用重测法计算稳定系数时，要注意的问题：：n1 1、两次测验之间的时间间隔要适宜，尽可能在、两次测验之间的时间间隔要适宜，尽可能在较短的时距内进行。

较短的时距内进行n2 2、两次测验试卷要等值，即在内容范围、题型、、两次测验试卷要等值，即在内容范围、题型、题数、难度、区分度等方面要基本相同题数、难度、区分度等方面要基本相同n3 3、确定两测验是否等值，还要考察两次测绘结、确定两测验是否等值，还要考察两次测绘结果的平均数与标准差果的平均数与标准差n4 4、重测法适用于速度测验而不适用于难度测验重测法适用于速度测验而不适用于难度测验n5 5、测试应注意提高被试者的积极性测试应注意提高被试者的积极性（二）等值性系数（二）等值性系数（（ coefficient of equivalencecoefficient of equivalence ））n又名又名复本信度复本信度（（alternate-forms alternate-forms reliabilityreliability）：）：是以是以两个等值两个等值（题型题数、（题型题数、难度、区分度相等）但难度、区分度相等）但具体内容不同具体内容不同的量表，的量表，在在最短时距内最短时距内，，对相同应试者先后施测两次所对相同应试者先后施测两次所获得的两组对应分数的相关系数获得的两组对应分数的相关系数。

n其模式是：其模式是：（二）等值性系数（二）等值性系数（（ coefficient of equivalencecoefficient of equivalence ））n以以A A、、B B两型英语复本测验对初中三年级两型英语复本测验对初中三年级1010个学生个学生施测，为避免由测验施测顺序所造成的误差，其施测，为避免由测验施测顺序所造成的误差，其中中5 5个学生先做个学生先做A A型测验，休息型测验，休息1515分钟后，再做分钟后，再做B B型测验；而另型测验；而另5 5个学生先做个学生先做B B型测验，休息型测验，休息1515分钟分钟后，再做后，再做A A型测验1010个学生个学生A A型测验结果记为型测验结果记为X X，，B B型测验结果记为型测验结果记为Y Y，其测验的复本信度如何？，其测验的复本信度如何？学生序号学生序号 1 2 3 4 5 6 7 8 9 101 2 3 4 5 6 7 8 9 10nX 19 X 19 1919 18 17 16 15 18 17 16 15 1515 14 13 12 14 13 12nY 20 17 18 Y 20 17 18 1818 17 15 13 15 12 17 15 13 15 12 1212（二）等值性系数（二）等值性系数（（ coefficient of equivalencecoefficient of equivalence ））n优点：优点：n1 1、测验的两个复本，如果在不同的时间使、测验的两个复本，如果在不同的时间使用，其信度既可以反映在不同时间的稳定用，其信度既可以反映在不同时间的稳定性，又可以反映对于不同测题的一致性；性，又可以反映对于不同测题的一致性；n2 2、两个复本在同时使用时，可以避免再测、两个复本在同时使用时，可以避免再测信息的一些缺点，如首测时再测在记忆、信息的一些缺点，如首测时再测在记忆、练习、效果的影响，间隔期间获得新知识练习、效果的影响，间隔期间获得新知识的影响，两次施测的环境不同和被试主观的影响，两次施测的环境不同和被试主观状态不同的影响，以及为了应付测验所作状态不同的影响，以及为了应付测验所作训练的影响等。

训练的影响等（二）等值性系数（二）等值性系数（（ coefficient of equivalencecoefficient of equivalence ））n缺点：缺点：n1 1、编制两个完全相等的测验是很困难的，如果两、编制两个完全相等的测验是很困难的，如果两个复本过分相似，则变成再测形式，而过分不相个复本过分相似，则变成再测形式，而过分不相似，又使等值的条件不存在；似，又使等值的条件不存在；n2 2、两个复本测验有可能在某种程度上测量了不同、两个复本测验有可能在某种程度上测量了不同的性质，这就会低估测验的信度；的性质，这就会低估测验的信度；n3 3、被试同时接受性质相似的两个测验，可能减少、被试同时接受性质相似的两个测验，可能减少完成测验的积极性；完成测验的积极性；n4 4、虽然两个复本测验的题目材料不同，但被试一、虽然两个复本测验的题目材料不同，但被试一旦掌握了解题的某一模式，就能触类旁通，有可旦掌握了解题的某一模式，就能触类旁通，有可能失去复本的意义能失去复本的意义（三）内部一致性系数（三）内部一致性系数（（internal constancyinternal constancy））n又叫又叫同质性信度（同质性信度（homogeneity reliabilityhomogeneity reliability））。

是是同一同一测验量表的两个部分（例如分为奇数题和偶数题，或者量测验量表的两个部分（例如分为奇数题和偶数题，或者量表的前一半和后一半）得分的相关系数表的前一半和后一半）得分的相关系数n估计方法有两种：估计方法有两种：n1 1、分半法（、分半法（Split-half methodSplit-half method）：）：是将一次测验分成两是将一次测验分成两个假定相等而独立的两部分来记分通常是以题目的奇数个假定相等而独立的两部分来记分通常是以题目的奇数为一组，偶数为一组，计算两级的相关系数，最后用为一组，偶数为一组，计算两级的相关系数，最后用斯皮斯皮尔曼－布朗公式尔曼－布朗公式校正，求得整个测验的信度系数校正，求得整个测验的信度系数n斯皮尔曼－布朗公式为：斯皮尔曼－布朗公式为：n r rxyxy 为两组测验分数的相关系数，为两组测验分数的相关系数， r rtttt表示整个测验的表示整个测验的信度系数信度系数问题：为什么不直接用奇数题总分与偶数题问题：为什么不直接用奇数题总分与偶数题的部分计算出的相关系数作为整个测验的信的部分计算出的相关系数作为整个测验的信度系数而要加以校正？度系数而要加以校正？这是因为测验的长度（指量表中所包含的题目数）这是因为测验的长度（指量表中所包含的题目数）对信度的大小有一定的影响，测验越长，信度越对信度的大小有一定的影响，测验越长，信度越高高。

而用分半法，实际上等于把整个测验长度减小了而用分半法，实际上等于把整个测验长度减小了一半，所以按分成两半的资料求出的信度必然低一半，所以按分成两半的资料求出的信度必然低于整个测验的信度于整个测验的信度n例：有一个由例：有一个由100100题构成的量表施行于题构成的量表施行于1010个高三学生个高三学生（分数见下表）测验一次后，应试者即毕业离校分数见下表）测验一次后，应试者即毕业离校现在怎样评价测验结果的信度？现在怎样评价测验结果的信度？　　得分　　得分被试　　被试　　奇数题总分奇数题总分 偶数题总分偶数题总分X XY Y010102020303040405050606070708080909101038383737383841414040363638383939404035353737373736363939393934343838393939393636方法：分半法方法：分半法　　得分　　得分被试　　被试　　奇数题总分奇数题总分偶数题总分偶数题总分X X2 2Y Y2 2XYXYX XY Y010102020303040405050606070708080909101038383737383841414040363638383939404035353737373736363939393934343838393939393636144414441369136914441444168116811600160012961296144414441521152116001600122512251369136912691269129612961521152115211521115611561444144415211521152115211296129614061406136913691368136815991599156015601224122414441444152115211560156012601260ΣXΣX＝＝382382ΣYΣY＝＝374374ΣXΣX2 2＝＝1462414624ΣYΣY2 2＝＝1401414014ΣXYΣXY＝＝1431114311解解：把有关统计量代入公式（：把有关统计量代入公式（1-10），求相关系数），求相关系数用斯皮尔用斯皮尔曼－布朗公式校正，曼－布朗公式校正，经经校正后的信度系数很大（校正后的信度系数很大（0.910.91），说明整），说明整个测验的信度高。

个测验的信度高2 2、库德尔－理查森公式法、库德尔－理查森公式法　　　　（（KuderKuder Richardson reliability Richardson reliability））n用此法只需测验一次，然后以各个问题的正确反用此法只需测验一次，然后以各个问题的正确反应数为基础（此可视为各题难度的信息），或根应数为基础（此可视为各题难度的信息），或根据各人总分的平均数和标准差，计算信度系数据各人总分的平均数和标准差，计算信度系数此公式有几个，其中常用的有此公式有几个，其中常用的有r rKR20KR20和和r rKR21KR21 n（（1 1））r rKR20KR20的的用法用法：：这个公式以每题能正确回答的这个公式以每题能正确回答的人数占总人数的百分数为基础计算（每题只有通人数占总人数的百分数为基础计算（每题只有通过或未通过两种分数）过或未通过两种分数）例：有一种包含例：有一种包含6 6个问题的测验，个问题的测验，1010个应试者得分个应试者得分如下表（答对得如下表（答对得1 1分，答错得分，答错得0 0分），试估计应试分），试估计应试者反应的一致性程度者反应的一致性程度。

　　题　　题得　　　目得　　　目被试　　分被试　　分　　1 1　　　　　　2 2　　　　　　3 3　　　　　　4 4　　　　　　5 5　　　　　　6 6　　　　ΣZΣZ　　　　001001　　　　002002　　　　003003　　　　004004　　　　005005　　　　006006　　　　007007　　　　008008　　　　009009　　　　010010　　1 1　　　　　　　　0 0　　　　　　　　0 0　　　　　　　　0 0　　　　　　　　　　0 0　　　　　　　　0 0　　　　　　1 1　　1 1　　　　　　　　0 0　　　　　　　　0 0　　　　　　　　1 1　　　　　　　　　　0 0　　　　　　　　0 0　　　　　　2 2　　0 0　　　　　　　　0 0　　　　　　　　0 0　　　　　　　　0 0　　　　　　　　　　1 1　　　　　　　　1 1　　　　　　2 2　　1 1　　　　　　　　1 1　　　　　　　　1 1　　　　　　　　0 0　　　　　　　　　　0 0　　　　　　　　0 0　　　　　　3 3　　0 0　　　　　　　　1 1　　　　　　　　0 0　　　　　　　　0 0　　　　　　　　　　1 1　　　　　　　　1 1　　　　　　3 3　　1 1　　　　　　　　1 1　　　　　　　　1 1　　　　　　　　0 0　　　　　　　　　　0 0　　　　　　　　0 0　　　　　　3 3　　1 1　　　　　　　　1 1　　　　　　　　1 1　　　　　　　　1 1　　　　　　　　　　0 0　　　　　　　　0 0　　　　　　4 4　　1 1　　　　　　　　1 1　　　　　　　　1 1　　　　　　　　1 1　　　　　　　　　　0 0　　　　　　　　0 0　　　　　　4 4　　1 1　　　　　　　　1 1　　　　　　　　0 0　　　　　　　　1 1　　　　　　　　　　1 1　　　　　　　　1 1　　　　　　5 5　　1 1　　　　　　　　1 1　　　　　　　　0 0　　　　　　　　1 1　　　　　　　　　　1 1　　　　　　　　1 1　　　　　　5 5　　　　ΣXΣX　　　　p p q q pqpq 8 7　　　　　　　　5 5　　　　　　　　5 5　　　　　　　　　　4 4　　　　　　　　4 4　　　　　　 0.8 0.7　　　　 0.50.5　　　　　　0.50.5　　　　　　　　0.40.4　　　　　　0.40.4 0.2 0.3　　　　 0.50.5　　　　　　0.50.5　　　　　　　　0.60.6　　　　　　0.60.6 0.16 0.21　　　　 0.250.25　　　　 0.250.25　　　　　　 0.240.24　　　　 0.24 0.24 ΣpqΣpq=1.35=1.35解：解：1 1）列出得分矩阵，计算有关统计量：）列出得分矩阵，计算有关统计量：　这个测验的信度系数较低，说明内容一致性差，量表这个测验的信度系数较低，说明内容一致性差，量表中的题目并非都可以测量相同的特性，即题目的同质中的题目并非都可以测量相同的特性，即题目的同质性差或难度悬殊较大。

性差或难度悬殊较大（（2 2）） r rKR21KR21的用法的用法：：n这个公式这个公式以各应试者总分的平均数和方差为基础，以各应试者总分的平均数和方差为基础，无需各题的难度信息无需各题的难度信息公式如下：公式如下：（四）论文式测验的信度系数（四）论文式测验的信度系数n论文式测验的评分没有严格的评分标准，以致同样一个论文式测验的评分没有严格的评分标准，以致同样一个题目，不同的应试者的回答和得分都不一样，所以无法题目，不同的应试者的回答和得分都不一样，所以无法用前面的公式，而要用用前面的公式，而要用克龙巴赫（克龙巴赫（Cronbach,1951Cronbach,1951））所所创的创的αα系数公式：系数公式：被被题题 号　号　 试试ABCDEΣSi2171181111483.04269789391.363610689392.564811683366.96571181111483.04671181111483.04Σ4062415452例：有一种包含例：有一种包含6 6个论文式题目的测验，对个论文式题目的测验，对5 5个应个应试者施行，得分列入下表，试求该测验的信度试者施行，得分列入下表，试求该测验的信度。

解：解：1 1）求每题各应试者得分的方差）求每题各应试者得分的方差S Si i2 2( (见表列见表列) )　　　　　　2 2）求每题各应试者得分的方差之和）求每题各应试者得分的方差之和ΣSΣSi i2 2　　　　　　　　ΣSΣSi i2 2＝＝3.043.04＋＋1.361.36＋＋…………＋＋3.043.04＝＝18.6518.65　　　　3 3））求所有应试者各自的总分的方差求所有应试者各自的总分的方差ΣSΣST T2 2（（表格最表格最下一行各数据的方差）下一行各数据的方差）　　　　　　　　　　　　S ST T2 2＝＝68.9668.96　　　　4 4））代入公式（代入公式（1-141-14）得信度系数　　）得信度系数　　　（五）评分者信度（五）评分者信度n要计算评分者评分的一致性系数，需区分评要计算评分者评分的一致性系数，需区分评分者的人次数若为分者的人次数若为2 2人评人评N N份试卷，可用份试卷，可用斯斯皮尔曼等级相关的公式皮尔曼等级相关的公式计算；若三个人以上计算；若三个人以上的评分者评的评分者评N N份试卷，则需计算份试卷，则需计算肯德尔和谐肯德尔和谐系数系数（以（以W W表示）表示）n1 1、斯皮尔曼等级相关公式：、斯皮尔曼等级相关公式：例：甲乙两位教师评阅例：甲乙两位教师评阅10份试卷，他们对每份试卷各自所评份试卷，他们对每份试卷各自所评的分数和等级列入下表，问这二位教师评分的一致性如何？的分数和等级列入下表，问这二位教师评分的一致性如何？试卷试卷得分得分名次名次等级之差等级之差DD2甲甲评分评分乙乙评分评分甲甲名次名次乙乙名次名次ABCDEFGHIJ9490868672706866646193929270827665766860123.53.5567891012.52.5745.595.58100-0.51-3.510.5-22.51000.25112.2510.2546.2510解：解：1）计算所需统计量：）计算所需统计量：D和和 D2（（见表）见表） ；；N＝＝10；；　　ΣD2＝＝0＋＋0.25＋＋1＋＋12.25＋＋……＋＋1＋＋0＝＝26　　2））将统计量将统计量N和和ΣD2代入代入公式（公式（1-15））答：甲乙两位教师阅卷的一致性系数较高，评分比答：甲乙两位教师阅卷的一致性系数较高，评分比较可靠较可靠。

2 2、肯德尔和谐系数（、肯德尔和谐系数（W W））例：例：1010个评委对个评委对7 7位参赛选手所评等级位参赛选手所评等级如下表所示如下表所示，，问这问这1010位评委的评分是否具有一致性？位评委的评分是否具有一致性？选手选手N N＝＝7 7　　评价者　　评价者　　K K＝＝7 7R Ri iR Ri i2 21 1　　　　2 2　　　　3 3　　　　4 4　　　　5 5　　　　6 6　　　　7 7　　　　8 8　　　　9 9　　101001010202030304040505060607073 3　　　　5 5　　　　2 2　　　　3 3　　　　4 4　　　　4 4　　　　3 3　　　　2 2　　　　4 4　　　　3 36 6 7 6 7 5 7 7 6 66 6 7 6 7 5 7 7 6 65 4 5 7 6 6 4 4 5 45 4 5 7 6 6 4 4 5 41 1 1 2 2 2 2 1 1 21 1 1 2 2 2 2 1 1 24 3 4 4 3 3 5 6 3 54 3 4 4 3 3 5 6 3 52 2 3 1 1 1 1 3 2 1 2 2 3 1 1 1 1 3 2 1 7 7 6 5 5 7 6 5 7 77 7 6 5 5 7 6 5 7 733336363505015154040171762621089108939693969250025002252251600160028928938443844 ΣΣR Ri i＝＝280 Σ280 ΣR Ri i2 2＝＝1351613516分析：从W=0.827来看，10人的评价较为一致。

严格地讲，W值是否达到显著性水平，需要做统计假设检验当K等于3∽20，N等于3∽7时，可根据K和N查“W显著性检验时S的临界值表”进行检验见王汉澜教授主编的测量学教材P52页)在进行等级评定时，常会遇到两个或两个以上事在进行等级评定时，常会遇到两个或两个以上事物的等级相同，如果遇到这种情况，应采用下面物的等级相同，如果遇到这种情况，应采用下面的修正公式：的修正公式：例：三位教师评阅四份试卷，所评等级列入下表，他们例：三位教师评阅四份试卷，所评等级列入下表，他们所评的等级是否一致？所评的等级是否一致？N N　　K K作文编号　　　　　　（作文编号　　　　　　（N N＝＝4 4））　　　　1 1　　　　　　　　2 2　　　　　　　　3 3　　　　　　　　4 4张张王王李李　　　　3 3　　　　　　　　1 1　　　　　　　　4 4　　　　　　　　2 2　　　　2 2　　　　　　　　1 1　　　　　　　　4 4　　　　　　　　1 1　　　　2 2　　　　　　　　2 2　　　　　　　　3 3　　　　　　　　2 2R Ri i　　　　7 7　　　　　　　　4 4　　　　　　　　1111　　　　　　5 5解：本题因王老师给两份试卷评了相同等级，李老师给三解：本题因王老师给两份试卷评了相同等级，李老师给三份试卷评了相同等级，所以要用公式（份试卷评了相同等级，所以要用公式（1-17）计算）计算W。

三、信度对于教育测量的意义三、信度对于教育测量的意义n1.1.信度是信度是任何一种测量的必要条件因为教育测量任何一种测量的必要条件因为教育测量的对象主要是精神现象，所测量的特性不易把握，的对象主要是精神现象，所测量的特性不易把握，为了能真实地反应测验对象的某种特点，需要更加为了能真实地反应测验对象的某种特点，需要更加注意测量的信度，从而正确地判断测量结果的价值注意测量的信度，从而正确地判断测量结果的价值n2.2.信度高的教育测量，能给教师和教育工作的领导信度高的教育测量，能给教师和教育工作的领导者提供可靠的信息，为他们的教育预测和决策提供者提供可靠的信息，为他们的教育预测和决策提供依据n3.3.信度高的教育测量，能使教师对学生的评价变得信度高的教育测量，能使教师对学生的评价变得客观和可靠，也使学生对自己的认识更符合实际情客观和可靠，也使学生对自己的认识更符合实际情况，从而有助于改进教与学的方法况，从而有助于改进教与学的方法n4.4.信度高的教育测量，有助于提高教师的工作效率信度高的教育测量，有助于提高教师的工作效率四、提高测验信度的方法四、提高测验信度的方法n（一）信度系数（以相关系数表示）以多大为宜（一）信度系数（以相关系数表示）以多大为宜　　 信度系数必须和求得信度系数的环境条件（测验的用途以信度系数必须和求得信度系数的环境条件（测验的用途以及测验的内容和条件）相联系。

及测验的内容和条件）相联系　　 就测验的内容来说，标准学业成绩测验要求信度系数在就测验的内容来说，标准学业成绩测验要求信度系数在0.900.90以上，常达到以上，常达到0.950.95标准智力测验的信度系数应达到标准智力测验的信度系数应达到0.850.85以上个性测验和兴趣测验的信度系数一般应达以上个性测验和兴趣测验的信度系数一般应达0.7∽0.800.7∽0.80n（二）影响测验信度的因素（二）影响测验信度的因素n1 1、系统误差；、系统误差；2 2、随机误差（包括样本的特点、量表的特、随机误差（包括样本的特点、量表的特点、测验的程序或环境、应试者的身心状态）点、测验的程序或环境、应试者的身心状态）（三）提高测验信度的方法（三）提高测验信度的方法n1 1、适当增加测验题目的数量适当增加测验题目的数量 尽管测验长度的增加与信度的提高不是等比例的，尽管测验长度的增加与信度的提高不是等比例的，但延长测验的长度，既可排除试题抽样的偶然性因但延长测验的长度，既可排除试题抽样的偶然性因素，也有可能扩大得分的范围，因而使信度系数增素，也有可能扩大得分的范围，因而使信度系数增大，测验信度提高。

大，测验信度提高n采用此法时，须作到采用此法时，须作到（（1 1）新增加测验题与原有的）新增加测验题与原有的测验题应有相同的统计性质，即应有相同的平均难测验题应有相同的统计性质，即应有相同的平均难度和相同的组间相关度和相同的组间相关2 2）加大测验长度应当不）加大测验长度应当不影响被试者回答问题的方法影响被试者回答问题的方法2 2、测验的难度要适中测验的难度要适中当测验难度太大时，应试者得分普遍偏低，形成正当测验难度太大时，应试者得分普遍偏低，形成正偏态分布；反之，形成负偏态分布在这两种分布偏态分布；反之，形成负偏态分布在这两种分布中，得分大部分集中在低分端或高分端，分数分布中，得分大部分集中在低分端或高分端，分数分布的范围和分数之间的差异都较小，用这些实得分数的范围和分数之间的差异都较小，用这些实得分数计算出的方差也较小，从而使得信度降低计算出的方差也较小，从而使得信度降低经验表明经验表明：难度在：难度在0.40-0.700.40-0.70之间是合适的，也有之间是合适的，也有人认为难度从人认为难度从0.25-0.750.25-0.75都利于提高测验信度都利于提高测验信度 3 3、测验的内容应尽是同质。

测验的内容应尽是同质4 4、测验的时间要充分测验的时间要充分5 5、测验的程序应统一测验的程序应统一6 6、评分要客观化，减少评分误差评分要客观化，减少评分误差。