测验的项目分析课件.ppt

第五章 测验的项目分析        项目分析包括定性分析和定量分析定性分析包括考虑内容效度、题目编写的恰当性和有效性等；定量分析主要是指题目难度和区分度的测量        对项目进行筛选和修订，可以提高测验的信度和效度第一节 测验的难度一、难度（difficulty）的意义难度，指项目的难易程度        在最高作为测验中，称为“难度”，而在典型作为测验中，则指“通俗性”两者都是指在总体中，能够正确或确切回答某项目的人数二、难度的计算（一）二分法记分项目的难度1．通过率          P=R/N 2．极端分组法（上下27%）          P=（PH+PL）/2 （二）非二分法记分项目的难度           P=X / XmaxX为所有被试在该项目上的平均得分， Xmax为该项目的满分三、测验难度水平的确定§ 效标参照测验、掌握测验：不考虑难度；§ 选拔测验：难度=录取率；§  对于选择题来说，难度一般应大于猜测概率；§ 无论是速度测验，还是难度测验，一般都应防止被试得满分，因为满分的意义是不明确的        大体而言，难度为0.50时最理想，此时项目具有最大的鉴别力。

但在实际操作中，让所有项目难度都到达0.50困难很大，而且也不必要，一般只需使项目的平均难度接近0.50，而各个项目的难度在0.50± 0.20之间变化 四、难度的等距变换根据正态分布表，将难度P作为正态曲线下的面积，转换成相应的Z分数，这就是等距量表                                                      P                                                            Y                                                0        ZZYP.00.39894.00000.50.35207.191461.00.24197.341341.50.12952.433191.96.05844.475002.00.05399.477252.50.01753.493792.58.01431.495063.00.00443.498653.50.00087.499773.99.00014.49997美国教育服务中心以Δ 作为难度指标：Δ=13+4Z P = .0013     Z = +3     Δ= 25P = .16         Z = +1     Δ= 17P = .50         Z = 0       Δ= 13P = .84         Z = -1     Δ= 9P = .9987     Z = -3     Δ= 1五、难度对测验的影响（一）测验难度影响测验分数的分布形态§  难度大，正偏态  § 难度低，负偏态（二）测验难度影响测验分数的离散程度测验过难或过易，分数全距缩小，信度降低。

P=0.50时最佳第二节 测验的区分度一、区分度的意义区分度（discrimination）是指测验项目对被试心理品质水平差异的区分能力或鉴别能力 项目的区分度是测验是否有效的“指示器”二、区分度的计算（一）项目鉴别指数法1．鉴别指数（index of discrimination，D）的计算D = PH - PL取值范围：-1~ +1鉴别指数题目评价0.40以上很好0.30~0.39良好，修改会更好0.20~0.29尚可，仍需修改0.19以下差，必须淘汰2．极端组的划分27%规则一般情况下，取上下25%~33%均可样本少时，可以取50%注意：由于计算机的方便使用，可以上下50%作为划分高低组的标准，或者多分几组，对区分度和难度作详细分析因为只取上下两端，只利用了一部分资料，浪费了很多信息，有可能得出错误结论（二）相关法（项目-总分相关）1．点二列相关              Xp-Xq      rpb=             √pq                St  2．二列相关            Xp - Xq     pq                         Xp - Xt      p       rb=                •                 或   rb=                •                 St            y                               St           y3．φ 相关              ad-bcrφ=     √(a+b)(c+d)(a+c)(b+d) 4．积差相关（三）项目特征曲线（item characteristic curve, ICC）项目特征曲线描述了效标分数不同的被试在该项目上的通过率。

曲线坡度越陡，鉴别力越好，预测的误差越小率概的目项答回确正1.000.000.50低                                     中                                     高能力鉴别力较好低                                     中                                     高能力率概的目项答回确正1.000.000.50低                                     中                                     高能力率概的目项答回确正1.000.000.50鉴别力为负鉴别力较低率概的目项答回确正1.000.000.50低                                     中                                     高能力ABC难度不同的3个项目的ICC多项选择中每个选项的ICC率概的目项答回确正1.000.000.50低                                     中                                     高能力ABCD三、区分度与难度的关系难度（Ｐ）区分度（Ｄ）1.0000.900.200.800.400.700.600.600.800.5010.400.800.300.600.200.400.100.200.000难度和区分度都是针对一定团体而言的。

一般来说，较难的项目对高水平被试区分度高，较易的项目对低水平被试的区分度高四、区分度的相对性（一）不同的计算方法，所得区分值不同                 区分度有几种计算方法？ （二）样本容量大小影响相关法区分度值的大小                 样本越大，区分度越……（三）分组标准影响鉴别指数                 分组越极端，区分度越……（四）被试样本的同质性程度影响区分度值的大小                样本越同质，区分度越……第三节  项目分析的特殊问题一、多重选择题的项目分析（诱答分析）         对于多重选择题，除了分析难度和区分度外，还要对每个选项进行分析下列哪一个最有可能是偏执型精神分裂症患者的次级症状：A 幻听B 瘫痪C 记忆丧失D 厌食 § 如果所有被试都选择某一正确的选项，说明该选项……§ 如果没有一个被试选择某个错误选项，说明该选项……§ 如果所有被试都选择某个错误选项，说明该选项……§ 如果高分组被试的选择集中在两个选项上，说明该选项……§ 如果高分组和低分组对正确选项的选择没有区别，说明该选项……§ 如果所有被试都未回答某个题目，说明该题……§ 如果选择各个选项的人数几乎相等，说明该题……二、速度测验的项目分析§ 对前面部分的测验项目，难度和区分度都……§ 对后面部分的测验项目，难度和区分度都……三、标准参照测验的项目分析在标准参照测验中，无须考虑项目的难度和区分度，只要项目的内容很重要就行。

也可以通过比较教学或训练的前测和后测结果来进行项目分析，用来说明教学或训练的效果以及项目编制是否适当四、项目-团体的相互作用        具有不同性质（性别、种族、职业等）的团体，在测验得分上也存在差异，即同样的项目可能有不同的难度§ 如果测验要求对所有个体都相对“公平”，那么，就应该排除那些有利于或不利于不同性质的亚团体的项目；§ 如果测验的目的就是为了考察不同亚团体的差异，那么，就应选择使团体差异尽可能大的题目五、有效性与可靠性的矛盾o 同质性信度要求项目之间有高相关，各项目的难度均等；• 对于预测效度来说，因为效标的变异范围较大，如果项目越同质，那么效标关联效度则低；因此，效标关联效度要求各项目之间要有一定的差异，即项目之间相关低，这样才能保证测验得分与效标之间有高相关，即高的效标关联效度        因此，对于多数心理测验来说，项目之间中等程度的相关，可使二者调和，获得较为满意的（同质性）信度和（效标关联）效度。