
命题和试题质量.pptx
49页单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,命题和试题质量分析,教师培训讲座,2006年9月25日,目 录,难 度,区分度,信 度,效 度,某考试,共有四道题,5名考生得分如下假设这次考试只有这五名考生,求,各题的难度、整卷难度及难度分布%,考生编号,题1,题2,题3,题4,总分,满分,1,10,10,29,50,1,1,4,1,19,25,2,0,9,5,28,42,3,1,6,3,18,28,4,1,5,1,13,20,5,1,10,5,26,42,难度,0.8,0.68,0.3,0.72,一、难度,(一)含义:难度指试题的难易程度问题:试题1的难度系数为0.86,,试题2的为0.41哪份试题更难些?,结论:,难度系数越大,试题越容易;,难度系数越小,试题越难二)难度系数的计算,0.3,5,1,3,5,1,10,题3,0.72,26,13,18,28,19,29,题4,42,10,1,5,0.68,5,6,9,4,10,题2,20,1,4,0.8,难度,28,1,3,42,0,2,25,1,1,50,1,满分,总分,题1,考生编号,1、题分难度计算,:,A)“1、0”记分题:P=通过人数/全体人数,B)非“1、0”记分题:P=平均分/该题满分,2、整卷难度计算,:,方法1:P=平均分/整卷满分,方法2:P=各题难度系数加权后的平均数,(这里的权数:各题的满分值),(三)试题难度的评价:,P0.9 很易,0.71P0.89 偏易,0.30P0.70 适中,0.11P0.29 偏难,P0.10 很难,(四)试题难度系数多大才适宜,1、理论上,大部分试题的难度系数P在0.5左右为宜。
为什么?,因为P=0.5时方差最大,而方差最大时试题的鉴别力最大方差,=pq=0.50.5=0.25),2、考虑考试目的,1)学科考试(如期末考),取P=0.5左右为宜,2)选拔类考试(如中考),录取率为多少,难度系数也相应取多少如:某次考试要从1000名考生录取200名,录取率为0.2,则要求试题的难度系数尽量达到0.2左右3)诊断分类考试(如高中毕业考目的是鉴别毕业生),因对区分度要求不高,所以要根据,诊断要求,具体确定难度系数对这类考试,可取难度系数为0.80,甚至更大值3、还要考虑到考生的实际情况,1)若不同层次考生差异性太大,特别是其中的弱势群体人数较多时,考虑到教育公平,试题难度应偏易2)要考虑考生学习信心和兴趣,及参与测试的信心,试题难度可稍偏易五)未,考,考试,如,何,何判定试,题,题的难度,1、根据,以,以往考试,的,的同质性,题,题目的难,度,度判定2、根据,考,考试的目,的,的、性质,、,、内容及,双,双向细目,表,表的要求,进,进行质的,分,分析3、挑选,典,典型题目,组,组成微型,试,试题,进,行,行正式考,试,试前的预,备,备性测试,,,,通过量,的,的统计分,析,析以确定,试,试题的难,度,度。
目,录,录,难 度,区分度,信 度,效 度,二、区分,度,度,某次语文,统,统考,5,名,名考生得,分,分如下假,假设这次,考,考试只有,这,这五名考,生,生,求各,题,题的,区分度,考生编号,题1,题2,语文科总分,六科CEEB标准分总分,满分,1,10,50,最高分900,1,0,4,25,300,2,1,9,42,868,3,1,6,28,413,4,1,5,20,420,5,1,10,42,639,区分度,二、区分,度,度,(一)含,义,义:区分,度,度是试题(或试题,中,中的某小,题,题)区分,出,出学生能,力,力水平差,异,异的程度,水平高者,,,,成绩好,;,;水平低,者,者,成绩,差,差则区,分,分度高反,反之,则,区,区分度低,A,B,C,化学总分,化学,题3,化学总分,化学,题1,化学总分,化学,题2,以上A、B、C三,图,图,哪道题,区分度较,好,好?,*,计,计算区分,度,度时应考,虑,虑哪些问,题,题?*,A、计算,区,区分度,,必,必须对两,列,列变量作,分,分析计算两列,变,变量的相,关,关系数,,即,即可得到,区,区分度,B、,要计算“,某,某一题”,的,的区分度,,,,必须找,到,到该题的,参,参照变量,能衡,量,量学生水,平,平高低的,变,变量。
本,题,题可考虑,把,把“,化学总分,”作是“,化学卷某,一,一题,”的,参照变量,C、若区,分,分度较高,,,,则表示,:,:水平高,者,者,则该,题,题得分高,;,;水平低,者,者该题得,分,分低这里将“,化,化学总分,”,”作为衡,量,量学生水,平,平高低的,指,指标二)计,算,算:,1、相关,法,法:,某题区分,度,度该题,得,得分与总,分,分的相关,系,系数,2、高低,分,分组法:,高分组:,参,参照变量,成,成绩排前27%考,生,生,P,H,高分,组,组得分率,:,:,=高分组,平,平均分/该题,满,满分,低分组:,参,参照变量,成,成绩排后27%考,生,生,P,L,低分,组,组得分率,:,:,低分,组,组平,均,均分/,该,该,题,题满,分,分,D=P,H,-P,L,(三,),)区,分,分度,多,多大,才,算,算一,份,份好,试,试题,:,:,1、,原,原则,:,:区,分,分度,越,越大,,,,测,题,题越,好,好,2、,评,评价,区,区分,度,度的,标,标准,:,:,D0.40,区,区分,度,度很,好,好,0.30,D,0.40,区,区分,度,度良,可,可,0.20,D,0.30,区,区分,度,度尚,可,可,,但,但要,修,修改,D,0.20,区,区,分,分,度,度,差,差,,,,,必,必,须,须,淘,淘,汰,汰,(,四,四,),),区,区,分,分,度,度,的,的,运,运,用,用,1,、,、,挑,挑,选,选,典,典,型,型,题,题,目,目,组,组,成,成,微,微,型,型,试,试,题,题,,,,,在,在,正,正,式,式,考,考,试,试,前,前,的,的,进,进,行,行,预,预,备,备,性,性,测,测,试,试,,,,,计,计,算,算,出,出,每,每,题,题,的,的,区,区,分,分,度,度,,,,,为,为,正,正,式,式,命,命,题,题,提,提,供,供,依,依,据,据,。
预,备,备,性,性,测,测,试,试,中,中,区,区,分,分,度,度,差,差,的,的,题,题,目,目,,,,,正,正,式,式,命,命,题,题,时,时,应,应,放,放,弃,弃,类,类,似,似,题,题,目,目,预备性,测,测试中,区,区分度,尚,尚可的,题,题目,,正,正式命,题,题时若,要,要设计,类,类似题,目,目,则,要,要修改,可见,,区,区分度,是,是试卷,编,编造过,程,程中筛,选,选测题,的,的主要,依,依据2、通,常,常情况,下,下,区,分,分度分,析,析主要,用,用于单,一,一测题,的,的分析,,,,整份,卷,卷的区,分,分度较,难,难分析,原因,是,是难以,找,找到衡,量,量被试,该,该能力,水,水平的,变,变量将一份,试,试卷中,所,所有题,目,目的区,分,分度简,单,单平均,以,以计算,整,整份试,卷,卷的区,分,分度,,此,此做法缺乏科,学,学依据,将一份,试,试卷中,所,所有题,目,目的区,分,分度进,行,行加权,平,平均以,计,计算整,份,份试卷,的,的区分,度,度,此,做,做法亦缺乏,科,科学依,据,据三、信,度,度,某考试,,,,数学,科,科共有,三,三道大,题,题,5,名,名考生,得,得分如,下,下。
假,设,设这次,考,考试只,有,有这五,名,名考生,,,,求数,学,学试题,的,的,信度,考生编号,第一大题,第二大题,第三大题,总分,满分,10,10,30,50,1,4,1,19,25,2,9,5,28,42,3,6,3,18,28,4,5,1,13,20,5,10,5,26,42,方差,目,录,录,难 度,区分度,信 度,效 度,三、信,度,度,问:某,人,人很可,信,信这,里,里“可,信,信”是,什,什么意,思,思?,答:前,面,面许下,承,承诺,,后,后面能,坚,坚守承,诺,诺,说,到,到做到,做人稳,定,定性、,一,一致性,强,强一),含,含义:,经过多,次,次测试,,,,所得,结,结果的,一,一致性,程,程度,(假定,多,多次测,试,试期间,,,,被试,没,没发生,任,任何变,化,化),(二),信,信度的,分,分类,重测信,度,度,:用同,一,一份试,题,题对同,一,一组考,生,生考两,次,次,所,得,得结果,的,的一致,性,性程度,假定:,该,该组考,生,生在两,次,次考试,期,期间内,不,不会发,生,生任何,变,变化,),复本信,度,度,:指将,两,两份程,度,度相同,的,的试题,分,分别对,同,同一组,考,考生进,行,行考试,,,,所得,结,结果的,一,一致性,程,程度。
重测信,度,度与复,本,本信度,在,在实际,中,中实施,的,的可能,性,性较低,,,,,一次考,试,试,就能计,得,得的内,部,部一致,性,性信度,内部一,致,致性信,度,度,:把一,次,次考试,人,人为地,分,分为两,个,个部分,,,,比较,两,两个部,分,分的一,致,致性程,度,度三),内,内部一,致,致性信,度,度的计,算,算,5,1,3,5,1,10,第二大题,26,13,18,28,19,30,第三大题,42,10,5,5,6,9,4,10,第一大题,20,4,方差,28,3,42,2,25,1,50,满分,总分,考生编号,=,(,四)对,试,试题信,度,度的要,求,求,如果是,标,标准测,试,试量表,,,,则要,求,求,0.80;,如果是,自,自制试,题,题,则,要,要求,0.60五),影,影响信,度,度的因,素,素,1、是,否,否同质,性,性测题,计算内,部,部一致,性,性信度,时,时,所,分,分析的,多,多个测,题,题必须,是,是同质,性,性的若,若不是,同,同质性,题,题目,,则,则会降,低,低信度,2、测,题,题的数,量,量,题数越,多,多,信,度,度越高,;,;,3、测,试,试环境,。
若考试,前,前半段,与,与后半,段,段的环,境,境差异,大,大,则,会,会降低,信,信度4、样,本,本量大,小,小在其它,条,条件均,相,相同的,情,情况下,,,,样本,量,量越大,,,,信度,越,越高5、考,生,生:,考生在,考,考试过,程,程中焦,虑,虑、疲,劳,劳或注,意,意力分,散,散6、测,题,题难度,:,:,一般来,说,说,测,题,题难度,越,越大,,信,信度会,越,越低六),如,如何提,高,高考试,的,的信度,1、适当,增,增加考试,题,题目的数,量,量,2、进行,信,信度分析,的,的测题应,尽,尽量同质,3、试题,的,的难度要,适,适中,4、考试,的,的程序应,统,统一,5、给考,生,生提供良,好,好的考试,环,环境6、抽取,的,的样本数,应,应达到要,求,求目,录,录,难 度,区分度,信 度,效 度,四、效度,问:,某人工作,很,很有效何,何谓“有,效,效”?,答:,他的,工作成果,能很好达,到,到,预期的目,的,的和要求,一)效,度,度的含义,测量结果,达,达到测量,目,目的的程,度,度,(二)效,度,度的分类,内容效度:,所测试的,内,内容,达到,预期目的,程度运用,定,定性分析,法,法来估计,内,内容效度,。
结构效度:测验结,果,果对于人,的,的假设属,性,性或理论,概,概念测量,到,到的程度,运用,因,因素分析,法,法来估计,结,结构效度,效标关联,效,效度:考试得,分,分与效标之间相关,程,程度运用,相,相关分析,法,法来计算,效,效标关联,效,效度效标:反映被,试,试真实水,平,平的变量。












