贵 州 师 范 大 学(本 科) - 华东师范大学

1、2009年全国高等师范院校第五届生物学课程与教学论学术论坛生物学试题和试卷的定量分析宋锡全贵州师范大学生命科学学院 2009年9月于成都5 5 难度分析难度分析4 4 效度分析效度分析6 6 区分度分析区分度分析7 7 不同专家、学者公开发表的相关数据不同专家、学者公开发表的相关数据1 1 问题提出问题提出2 2 研究目的研究目的3 3 信度分析信度分析一、问题提出定性分析是日常教学工作中绝大多数工 作者采用的主要形式，如学生测验质量分析 包括集体质量（含平均分、标准差等）和个 体质量（标准分、百分数等）。而定量分析 是平时教学工作中很少被采用的。但是，试 题和试卷的定量分析是最客观和合理的。我 们将重点介绍定量分析主要体现在考题的信 度、效度、难度和区分度上。二、研究目的试卷质量统计分析与评价是考试管理 中一项重要工作，也是我们评价考试质量 的最重要、最有效的方法。它能够为改进 考试设计工作，使之更符合考生实际提供 重要信息；也能够为改进命题工作提供大 量信息，提高试题和试卷的编制质量；也 是完善题库，提高题库试题质量的重要途 径。三、信度分析1、考试误差 考试误差主要来源于三个方面

2、，其一为试题试卷质量；其 二考生水平考试时的应试状态，也即考生的临场发挥；其 三为考试的实施办法及过程控制。 根据误差产生因素的不同，考试误差一般分为两类。一类 是由在考试过程不可预期的偶然因素导致的，称为随机误 差；（实施和评分）一类是在考试过程中一旦出现便始终 存在的恒定因素导致的，称作系统误差。（命题） 在考试中，我们把因偶然因素所引起的随机误差的控制程 度叫做考试信度，把系统误差和随机误差的综合控制程度 叫做考试效度。2、信度概念信度是反映考试可靠性的指标，考试的 信度是指考试分数的可靠程度。如果我们将 考试成绩看成由真分数（包含系统误差）和 随机误差分数构成，信度即为真分数的方差 与考生观察分数方差之比。简单的说，就是 重复参加同一次考试成绩的一致性。信度是 考试公平性的重要体现。对考生提供相同难 度的试题，对社会提供同一标准的评价。3、信度系数的计算信度系数的计算有多种方法，各种方法所 适用的信度类型不同，因此，在计算信度系数 时，必须认真考虑实际所求信度的类型，然后 选择恰当的计算信度系数公式1。 3.1 再测信度同一测验前后两次施测于同一组被试，根 据受试者前后两次测验

3、分数计算所得相关分数 为再测信度。3.2 复本信度复本信度法是让同一组被调查者一次填答 两份问卷复本，计算两个复本的相关系数。 复本信度属于等值系数。复本信度法可以用 在试卷命题上，即根据相同的命题双向细目 表，制作两份在内容、难度和题型上尽可能 类似的试卷，然后分别用这两份试卷来测验 同一群学生（可连续或相隔一段时间实施） ，每位学生各得两个分数，再求出两组分数 之间的相关系数，即为信度系数。这两份试 卷互称为复本，得出的信度也叫复本信度。3.3 分半信度将试卷中的题目按单、双题号分为两 半，然后用斯皮尔曼-布郎校对公式（spe- arman-brown formula）公式计算其信度。 该方法的优点是不需用两套试卷去考两次 。公式为：Rtt=2Rhh/（1Rhh）。其中， Rtt为分半信度系数；Rhh为两半分数的相 关系数。分半信度又称内部一致性系数， 它不适用于速度测验，这一点需要注意。3.4 库李法（Kuder-Richardson method）库李二氏于1937年提出一些评估信度的 公式，其中比较常用的有两个公式，称为 KR20和KR21。其计算公式如下： KR20 =K/

4、K-11-pq/s2 KR21 = K/K-11-M（K-M/K s2）其中，K：试题数，p：答对某一试题的 学生所占的比例，q：答错某一试题的学生 所占的比例（q=1-p），s：分数之标准差， M：分数之平均数。当评价工具的难度大体上均在50% 左右时，用KR21来计算信度比较简便， 不过当试题之难度不一，且变化很大 时，使用KR21往往会低估信度。库李法 与等分法就内容上来说，都在估算评 价工具的内部一致性刘恩山，2003。3.5 评分者信度是指不同评分者的评判结果的可靠 性，即不同的评分者所评分数是否一致 评分者信度，一般测验应有较高的评分 者信度。如果评分是客观的并有统一的 规定，这点能够得到保证，一般不用考 察评分者信度。4、信度值信度多少通常以系数表示，若 系数低于0.35属于低信度，应该拒绝使 用；介于0.500.70属于尚可接受，高于 0.70以上属于高信度。通常教学评量所 参考的系数应不低于0.80才是。信度 的最大值为1，最低为0，大规模的考试 要求信度在0.9以上。国外一般知识性测 验要求在0.95以上，常达到0.95。5、影响信度的因素 （1）试卷的长度(题量)

5、； （2）题型的选择（即使用的题型）； （3）命题的规范化； （4）考试设计：即答题时间是否充分，是 否提供考试指导，是否具备举办考试的条件 (空间场地、温度条件、灯光噪音、运动等) ； （5）评分方法（例如提供指导，评分者检 查系统）。 6、提高信度措施（1）年与年之间考试内容覆盖面要广且一致； （2）用同等的作业任务评价考生； （3） 试题或项目必须具备评分的一致性； （4）年与年之间试题的难度水平保持一致； （5）控制测验的质量； （6） 控制举办测验的条件； （7）控制评分的过程； （8）控制评等级的过程。 四、效度分析 1、效度概念效度（Validity）即有效性，指考试对所要测量的 知识、技能和能力测量的精确程度。 2、效度计算为了检验考试的效度，必须找到一个能代表考试 目标的外在标准，将侍评价的考试与这个标准相比较 ，由两者相一致的程度来推断考试的效度(有的考试不 预先进行模拟测验，没有与现行考试目标相一致的考 试，所以找不到代表考试目标的外在标准，可以用学 生前几次测验的平均成绩为外在标准来计算相关系数) 。计算效度采用积矩相关系数法赵珂，2001 。3、效度值效度的大

6、小是以效度系数来表示的 ，最高值为1，最低值为1。1表示考 试结果与考生的实际水平完全相符， 1表示考试结果与考生的实际水平完全 相反，0则表示与所要测的完全无关。 一般考试的效度应在0.40.7之间陈继 贞等，2003。4、效度类型 4.1 内容效度指的是一个考试所测量的内容的代表性 程度。内容效度的高低与我们通常说的“覆 盖面”有关。在高考命题时，为了把握好内 容效度常用制作双向细目表（能力层次与题 型、章节内容）的办法进行控制。在高等教 育和中专自学考试命题时，为把握好内容效 度常用制作三向细目表（能力层次与题型、 章节内容、题量）的办法进行控制。 系统的检验方法有：专家判断、再测、统计 分析等方法。4.2 构想效度是指测验能够检验理论的抽象概念 或特质的程度，可用验证性因素的分析 方法加以考察。 4.3 实证效度实证效度又称为效标关联效度，用 测验分数与效度标准之间的相关系数表 示。效度标准是根据经验选用的某一个 标准测验。4.4 预测效度衡量考试有效性的一个重要方法是 评价这项考试所做出的预测是否成立。 例如用高考的成绩来预测入学后的考生 学习情况，如果准确性高则说明高考的

7、预测效度较好项伯衡等，2001 。5、提高考试效度措施 （1）控制系统误差来自命题； （2）适当加大题量，扩大样本的容量和代 表性； （3）适当增加题型的多样性，根据课程特 点，确定主客观试题的合适比例； （4）编写双向细目表，保证测验体现考试 大纲的要求； （5）精心命题试题考核目标明确。6、信度与效度的关系从信度与效度的关系来看，测验 的效度高，其信度也高；但信度高的 测验，其效度并不一定高，测验结果 具有一致性的测验，在信度上是高的 ，在效度上则不一定高。1、难度概念 指题目的难易程度，或说测验的难易程度， 常以试题的通过率作为难度的指标。 2、计算方法 2.1客观性试题难度P（这时也称通过率）计 算公式：P=k/N（k为答对该题的人数，N为 参加测验的总人数） 2.2主观性试题难度P计算公式： P=X/M（X为试题平均得分；M为试题满分）五、难度分析2.3 适用于主、客观试题的计算公式： P=（PH+PL）/2（PH、PL分别为试题针 对高分组和低分组考生的难度值） 在大群体标准化中，此法较为方便。具 体步骤为:将考生的总分由高至低排列 ；从最高分开始向下取全部试卷的 27%作

8、为高分组；从最低分开始向上 取全部试卷的27%作为低分组；按上 面的公式计算。例1：一次生物测试中，在100名学 生中，高低分组各有27人，其中 高分组答对第一题有20人，低分 组答对第一题的有5人，这道题 的难度为： PH=20/27=0.74 PL=5/27=0.19 P=( 0.74+0.19)/2=0.47另外，也有学者认为难度应以失 分率来表示，其公式：Q（失分率）=1R（平均分 ）/N（满分） Q值越小，题目越容易；Q值越大， 题目越难。整个试卷的难度等于所有试题难 度之平均值（包括主、客观试题）。2.4 难度系数计算公式：一套试题的难度系数最终要 考完以后才能知道。具体算法是 用参加考试的人平均分除以试题 的总分，或者用参加考试的人的 总得分除以所有试卷的总分也一 样。对一道题来说，也是这样，比 如一道题是4分，共有100个人参 加考试，其中30人做对了，得4分 ，50人半对，得2分，那么参考人 共得304+502=220分，再除以 总分400分，得到难度系数0.55。“难度系数”也可以理解成“容易 度系数”。一道10分的试题如果难度 系数为0.5，可以理解为这道10分的

9、试 题平均得分为5分。“参考样题”中， 将每一道样题的难度系数都公布了， 样题是过去几年的高考试题，难度系 数是国家高考后测量的结果，十分准 确，具有很高的可信度。 一般来说高考试卷易中难试题的 比例为2:6:2或3:5:2，过去的考试 说明一直是这样表述的，现在的 表述是“以中等试题为主”，但数 据上，没有什么变化，中低档试题 占八成，750分占600分。那么什么 是中低档试题呢？一般来说难度系 数在0.40.7的试题为中等试题，低 于0.4的为难题，高于0.7的为容易题 。 3、难度值难度值在0至1之间。P0.8试题太易 ；P0.8 、P0.4、0.6的中等难度试题应占60% 。整套试卷平均难度在0.40.6之间。1、区分度概念指测验对考生实际水平的区分程度或鉴赏能力。 它是题目质量和测验质量的一个重要指标。 2、计算方法 2.1客观性试题区分度D的计算公式： D=PH-PL（PH、PL分别为试题高分组和低分组考生的 难度值）选27%的高分组（非正态分布取1/3左右的高分组 ），计算高分组某题通过的百分数PH，再计算低分组 （低分部分的27%的被试，非正态分布取1/3左右）通 过某题的百分比PL。PH、PL的计算方法同上。六、区分度分析例2 一次生物测试中，在100 名学生中，高低分组各有27人 ，其中高分组答对第一题有20 人，低分组答对第一题的有5 人，这道题的区分度为：D=PH -PL=0.74-0.19=0.55。2.2主观试题（非选择题）区分度 D的计算公式： D=（XH-XL）/N（H-L） （XH表示接受测验的高分段学生 的总得分数，XL表示接受测验的低 分段学生的总得分数，N表示接受 测验的学生总数，H表示该题的最 高得分，L表示该题的最低得分。 ）一般被试样本人数应在370 人左右，这样27%的高分组与 低分组大约100左右。如果被试 人数少，可取27%稍大些的比 率，划分低分组与高分组。整个试卷的区分度，是所 有试题区分度的平均值。3、区分度值一般区分度的取值范围是- 1.00D+1.00，其值越大区分效果越 佳。D0.4时，区分效果好，说明该题 目能起到很好的区分作用；D0.2时， 说明该题目的

《贵 州 师 范 大 学(本 科) - 华东师范大学》由会员艾力分享，可在线阅读，更多相关《贵 州 师 范 大 学(本 科) - 华东师范大学》请在金锄头文库上搜索。