第十一讲测评质量分析.ppt

l测评与选拔的质量分析l一项测评是否可靠、可信？l一项测评是否准确、有用？l一项测评是否公正、公平？l一项测评是否经济、合理？第一节结果的可靠性分析l可靠性由测评信度来决定，信度又由信度系数来衡量l一、信度的含义l1、信度：测评结果的准确性和一致性程度l2、信度的分类l再测信度：按同样的方法对同样的对象进展再次测评跨时间的一致性同一测评对象不同时间的一致性l复本信度：测评结果与另一个等值测评结果的一致性跨维度、跨形式的一致性等值测评对象不同测评的一致性l内在一致性信度：各测评工程分数间的一致性跨工程的一致性,前提是各测评工程必须是可操作性的同一测评对象不同工程间测评的一致性l评分者信度：多个测评者给同一组被测评组进展评分的一致性程度同一测评对象不同考官的一致性二、信度系数的估计l信度系数：衡量信度大小的指标l信度指标的一般公式：测验分数=真实分数+测量误差或者：X=T+el信度系数是真分数的变异系数与实得的分数变异系数之比，即：l真分数是不可能测到的，因此信度系数是一个估数值1、稳定系数l用来估计再测信度前后两次测评的结果一致性程度，用积差相关系数求得，公式是：l稳定系数；N测评数据的个数；X被分析的测评数据，y重复测评结果数据l例：一次品德测评后，随机抽取了其中10名被测，分数是：74，71，80，85，76，77，77，68，74，74；再次测评后，10名被测分数依次是：82，75，81，89，82，89，88，84，80，87。

请对这次品德测评结果的可靠性进展分析l代入公式得：r=0.48l信度不高2、等值系数l通过计算两次测评数据之间的相关系数来求得等值系数，当测评结果是分数时，用积差相关法计算，当测评结果是等级或者名次时用等级相关法计算，计算公式：lr等值系数，N测评结果的个数，D同一被测两次评定等级之差l10个被测承受了一次技能程度的观察评定，名次分别是1，2，3，4，5，6，7，8，9，10.为了检验测评结果的可靠性，同时进展了另一次等值技能测试，10名被测的名次依次是2，3，1，4，7，6，10，9，8，5.请分析这次技能测评的可靠性l较可靠3、内在一致性系数l估计不同测评工程对同一素质测评的一致性l两种方法：一种是工程折半分析；另一种是 系数分析l工程折半分析：先将测评分分成等值的两半，再计算两组之间的相关系数，斯皮尔曼-布朗公式：例子：l某公司对10名销售人员进展市场开拓才能测试，采用评定量表，由12个问题组成，将测评数据分成奇数偶数两半，分数如表：姓名ABCDEFG HIJ单项题 目得分和（x)5646364534双项题 目得分和6654456545测评总 分1112910711101079lx=46,y=50,xy=233lxx=224,yy=256l=0.35,t=2*0.35/1+0.35=0.52l信度较低。

l当一次测评无法分成对等的两半时，可考虑用l系数分析信度，较常用l克朗巴赫公式：lN测评工程数，测评结果的方差，l第i个工程的方差4、评分者的信度系数l通过两个评分者对同一组被测评分数之间的相关系数来鉴定，可用积差或等级相关来计算，当评分者为两人以上，并且用等级计分时，用肯德尔和谐系数来分析：公式是：lK评分者人数，N被测评对象数，Ri第i个被测对象等级之和或分数之和W越大说明评分者信度越高假如同一被测评对象出现了一样等级，那么采用以下公式：三、影响信度的因素分析l误差：随机误差偶尔因素引起的；系统误差恒定而有规律的因素引起l测评信度就是随机误差大小的反响，影响因素：l测评者因素：l被测者因素:总体程度的离散程度和平均程度l测评工具：如测评的测题取样不当，题太少或面太窄l测评环境的因素：第二节 测评的效度分析l一、效度的含义与分类l1、概念：l效度：测评结果对素质反映的真实程度l效度是一个相对概念不存在对所有目的都有效的方案l效度是一个程度概念l效度是测评误差的综合反映l效度是评价测量工具好坏的重要标准之一较高的效度是一个良好的测量工具最重要的特性，是必要条件，也是选择和评价测量工具质量的重要根据。

l一般来说效度的作用比信度的作用更为重要假如一个测验效度很低，无论它的信度有多高，这项测验都没有应用价值效度高的测量工具往往信度也高l效度和信度的区别：信度与效度的差异在于所考虑的误差不同信度考虑的是随机误差的影响；效度考虑的误差包括随即误差和对测验目的无关的变量引起的系统误差2、分类l内容效度：实际测评内容与期望内容的一致性程度l构造效度：测评结果与所想测评素质的同构程度l关联效度：测评结果与效标的一致性程度效度的评估方法l对测量效度的考察反映在下面两个问题之中：l该测验可以很好的预测我们感兴趣的成绩吗？l该测验真正测量的是什么？l第一个问题集中于效标，也就是判断一个测验预测的成功性的标准这就要求建立测验成绩与那个标准之间的关系预测效度l第二个问题集中于测验，要求明确关于测验所测量目的的内在理论或心理设想内容效度l测验效度不能按笼统的方式去测量，而只能根据测验所考虑的特定用处去测量，在决定是否使用测验时，我们需要理解从测验结果做出某种推论的有效性，也就是说，我们是证实测验的有效性，还是证实我们希望对测验结果进展推论的有效性l对于一个特定问题，测量目的决定了所用的效度评定方法，问题是关于使用测验成绩来预测在校标上的成绩，还是关于研究测验实际测量的内容或设想。

二、测评效度的分析l1、内容效度分析l1是否包含了欲测评素质的各种成分l2测评范围内的行为样本的比例是否与工作分析结果一致l方法：定性分析方法，蓝图对照分析方法、专家比较法l专家分析后，以下公式可以鉴定内容效度：持肯定评判意见的人数，N评判总人数，C值从-1到1.2、构造效度分析l1给所测评的素质下一个操作化定义l2根据事实资料评判构造效度3、关联度的分析l通过效度系数进展，效度系数就是测评结果与标准结果的相关系数相关系数越高，说明关联度越高三、影响效度的因素l测评根据因素l测评过程及测评者因素l被测者状态l效标因素l信度因素第三节测评与选拔的工程质量分析l工程分析是指根据试测结果对组成测验的各个题目工程进展分析，从而评价题目好坏、对题目进展挑选的程序和方法l通过工程分析，对测验题目进展选择和修改，可以进步测验的信度和效度l定性分析：主要考虑内容效度，即题目表达的恰当性和有效性等方面l定量分析：主要考察题目难度和鉴别度是否适当1 工程的难度分析l难度分析就是对题目的难度进展估计以确定适宜的难度，难度的指标通常以“通过率表示，即答对或通过该题目的人数百分比通过人数越多题目越容易l测验难度确实定，要根据测验的目的、性质和题目的形式而定。

2 工程的鉴别度分析l工程鉴别度是指测验工程对于所测查的心理特性的鉴别才能和区分程度，可以从工程效度和内部一致性方面进展考虑l工程效度分析主要以效标为根据，考察被试在每个试题上的反响与其在效标上表现的相关程度，即每个试题所测查的行为是否反映了被试在效标上的表现l内部一致性分析有时进展工程分析难以找到适宜的效标，这是就用测验总分代替效标，考察每个试题与总分的一致性3工程的公平性分析l掷色子或扔硬币帮助做决策你认为公平吗？l结果的公平性：在职业选拔中，结果公平指选用了“最好的人如何定义“最好以及怎样确保“最好可以被测量决定结果的公平性，这主要由测验的技术性方面来确定，是测验过程和测量效标过程二者的函数l过程的公平性：指的是某些人的测验分数受到误差的影响不会与其别人显著不同因为受测者的表现总是发生在一定情境中，测验成绩必然反映一定情境的作用l测验选择时要考虑文化、语言因素l测验施行时要公平对待每个受测者l监测不同群体的成绩分布是否存在显著差异，是合理原因造成的还是另有隐情4 工程的经济效益分析l效用分析l在选拔性测评中，需要计算因录取率提升和消费效率上升而带来的价值l在招聘测评中要计算通过测评技术进步的工作效率和录用准确性带来的价值。

l一、工程的合适度l公式：lW工程总分值值；全体被测得分平均值；P合适度二、工程区分度l区分度：工程对被测程度差异的区分才能l1两端分组法l2相关法三、工程的独立性l通过分析工程分数之间的相关系数来评定l当工程为连续分值，且工程得分均匀，用积差相关法，否那么用如下方法：l1、系数法l公式：lA,b,c,d分别为表格中的人次数2、检验法。