多选题作弊雷同判定标准的常模研究.doc

多选题作弊雷同判定标准的常模研究赵世明张颖（作者简介：赵世明，博士，卫生部国家医学考试中心研究统计处；张颖，助理研究员， 卫生部国家医学考试中心研究统计处北京，100044）摘要：本文以全国医学博士生英语入学考试和医师资格考试为例，探讨了四选项选择题 和五选项选择题作弊雷同判断标准的常模问题通过随机抽取无作弊可能的正常考生样本, 推论正常考生总体的平均错同率水平，为四选项和五选项单项选择题建立了作弊雷同的判断 标准常模当两个考生的双向错同率在统计学意义上显著高于正常考场平均水平，而且具备 作弊的客观条件时，考试机构可以认定其存在作弊行为研究结果对于无直接证据下的多选 题作弊判定具有参考和应用价值关键词：作弊雷同错同率估计一、问题的提出以往研究表明，在不存在作弊行为的正常考试情况卜，考场内所有考生之间的平均错同 率水平保持相对稳定M現平均错同率的稳定性不受分数水平、考场规模、选项个数和试题 样本的影响，接近题目选项的随机选择率，四选项选择题的平均错同率接近0.25,五选项选 择题的平均错同率接近0.20如果两个考生的错同率明显髙于正常考生的平均错同率，我们 有理由怀疑其存在抄袭作弊的嫌疑=错同率是可能判断作弊雷同的有效指标。

研究还发现, 较高的单项错同率可能是随机因素造成的，只有双向错同率都较高，才能推断作弊雷同所谓错同率是指A考生和B考生都答错且选项相同的题1=1数占各自答错题1=1总数的比 例A考生和B考生都答错且选项相同的题Id数占A考生答错题日总数的比例称为错同率 A,A考生和B考生都答错且选项相同的题|=|数占B考生答错题目总数的比例称为错同率B0 二考生之间的错同率A和错同率B称为双向错同率如果错同率为正态分布的话，判定作弊的依据应该是双向错同率在统计学意义上明显高 于正常考试情况下的平均错同率错同率达到多少吋我们才可以认为其明显高于正常或平均 水平呢？也就是说，需建立正常考试情况下错同率的平均水平或常模.一般来讲，我们可以 从以下途径建立所谓“正常水平”一是选择存在作弊嫌疑考生所在的考场；二是随机选择 任一独立考场；三是随机选取常规考场人数的考生；四是随机选取任意数量的考生首先, 正常考试状态应该排除潜在的作弊可能性n其次，所谓“正常水平”应该是总体正常水平， 而非某个考场的正常水平再有，常模的应用和解释对象应该是常规考场，尽管有研究已经 证明，非常规考场的平均错同率水平与常规考场并无差异，考生样本量人小对平均鉛同率分 布不构成影响，不同样本量的各组样本平均错同率水平都接近选项的随机选择率。

但是考试 情境中面对更多的是常规考场因此，我们随机选取常规考场人数的考生样本來估计并建立 错同率的总体平均水平或常模=二、 研究对象与方法（一） 研究对象1. 四选项选择题：（1）试题：2001年全国医学博士生英语入学考试（简称FATMD考试） 的75道四选项单项选择题2）被试：采取自编的计算机程序从全体考生中抽取30人，保 证这些考生分布在不同考场（无作弊可能L2. 五选项选择题：（1）试题：2001年医师资格考试（简称CNMLE考试）临床专业综合 笔试基础科目160道五选项单项选择题2）被试：采取自编的计算机程序从全体考生中抽 取30人，保证这些考生分布在不同考场（无作弊可能）二） 研究方法错同率的计算：对考生的作答情况进行-两两比较，即每次从考生中任取2名不同的考生 进行比较，得到相应的错同率设考生量为m两两比较的次数公式为：广2 二 n! _ n（n - 1 ）2!（n-2）f ~ —2—30名考生两两比较的次数为435次随机选取常规考场人数的考生样本来估计并建立平均错同率的总体平均水平或常模，实 际上是由随机样本的平均错同率推论总体的平均错同率而判定是否存在作弊雷同，需要对 特定考生的错同率与总体平均水平做出比较，并根据错同率这一随机变量的分布规律，做出 统计推断。

因此，我们需要解决平均错同率的总体估计和随机样本的错同率分布这两个问题三、 结果与讨论（一）随机样本错同率的分彳|j可以推断，在随机抽取的正常常规考场中，错同率是1羽绕平均错同率上下波动的，应该 符合正态分布规律我们随机抽取的20个常规考场，以0.05为组距统计鉛同率次数分布 K—S检验表明，所有随机样本的错同率都呈正态分布以下给出了四选项选择题随机样本 错同率正态分布的K-S检验结果表1 20个随机样本错同率正态分布的K—S检验错同率A错同率BS*Z PG10.68680.73310.71340.6888G20.63360.81690.85490.4579G30.52910.94220.879()0.4224G40.69050.72690.81110.5262G50.65440.78510.71210.6911C60.69170.72510.71880.6798G70.74910.62870.93910.3411G80.74860.62950.64380.8015G90.68690.73290.60550.8569G1O0.77590.58370.73950.M49GI10.75770.61430.70920.6959G120.73140.65850.57100.9002G130.69120.72580.79660.5497G140.67460.75290.66960.7610G!50.71200.69110.83930.4818G160.63980.80760.86180.4475GI70.66350.77070.81730.5163GI80.85110.46370.87430.4292G190.71060.69350.66070.7752G200.64620.79790.65840.7789(二)由样本平均错同率估计总体平均错同率样本统计景的总体估计结果应该与所选随机样本有直接关系。

为四选项和五选项选择题 分别随机抽取一个常规考场样本，这个样本应该对总体具有很好的代表性，其样本统计量与 20个随机样本的平均值较为接近四选项20个随机样本的错同率平均值为0.2444(A) / 0.2457(B),五选项20个随机样本的错同率平均值为0.2178(A) / 0.2176(B)所选四选项随机样本错同率A的平均值为0.2488，标准差为0.1018；错同率8的平均 值为0.2502,标准差为0.1168五选项随机样本错同率A的平均值为0.2168,标准差为0.0731 ； 错同率8的平均值为0.2197,标准差为0.0752由于总体方差未知，样本统计量平均错同率 属于t分布因此我们需利用样本平均错同率对总体平均错同率进行区间估计以四选项错同率A为例，30名考生两两比较的次数为435次，即样本量n为435,样 本统计量如前所示推论总体平均值山标准差 ,由于总体方差未知，所以总体平均值和 标准差分布的标准谋分别为：0, 1018\435 = 1=0. 00489S \t(2n0. 1018x 435=0.00345由于样本容量足够大，总体统计最近似正态分布如果设萱信区间为.999,查表得 乙如沪3.29,四选项错同率A的总体平均值和标准差的置信区间为:0.2488 ・ 3.29 X 0.00489

以上数据表明，在随机抽収的 任意一个正常考场中，四选项选择题的平均错同率最大不超过0.27,标准差最人不超过0.13； 五选项选择题的平均错同率最大不超过0.24,标准差最人不超过0.09做此推论的正确概率 为99.95%（单侧上限），错课概率为0.05%（0.1% / 2）0我们随机抽取的20个常规考场的样本 统计量全都符合这一估计值得注意的是，五选项错同率的总体平均值分布在0.2053〜0.2316之间，最低估计也在 选项随机选择率0.20之上这在以往研究和观察中也有发现，多数随机样本的平均错同率 略高于选项随机选择率为了考察错同率A与错同率8可能存在的差异或不同，我们在统计过程中分别估计了 错同率A与错同率8的总体统计量实际从总体上看，正常考试状态下错同率是随机分布 的，两两比较形成的错同率A与错同率B是彼此对称的，以上统计数据也表明了这一•点 因此在判断作弊雷同的具体问题时，错同率A与错同率B应该使用同一标准三）作弊雷同的推论和判定我们己知道错同率为正态分布，对常规考场错同率的总体统计最也进行了估计这为作 弊雷同的比较和判断提供了判定标准如果发现某考生与其他考生的错同率异常偏高，考虑 到要尽可能提高做出正确判断的概率，减小错谋概率，网然不能以本考场的平均错同率为标 准，也不能以随机考场的平均错同率为标准。

由于我们研究的是作弊宙同可能造成的高错同 率问题，判定标准应该是错同率总体平均估计的上限其含义在于，任意随机抽収一个30 人的正常常规考场，其平均错同率不会超过0.27（四选项）/ 0.24（.71.选项），标准差不会超过0.13(四选项)/ 0.09(五选项)我们将此上限作为参照标准以四选项为例，同样选择.999的置信区间，随机变量错同 率的上限估计应该为：0.27+3.29X0.13=0.70这意味着，在不存在作弊行为的正常考试情 况下，随机抽取的错同率不会超过0.699,做此推论的正确概率为99.9%考虑到总体统计 量的估计概率，实际上做此推论的正确概率为99.8%(.999X.999)o同理，五选项错同率的 上限估计应为：0.24+3.29X0.09=0.541) 判定标准的双向原则由于错同率是一•种随机变量，错同率A或错同率B有可能出现单调异常偏髙在分析 判断作弊雷同的具体案例时，要特别注意错同率的对称性因为作弊雷同也是相对存在的 必须是错同率A和错同率B同时出现异常偏髙，即在统计学意义上同吋显箸高于错同率分 布的正常水平，才可以认定存在作弊嫌疑有关数据在以往研究中己有说明⑵。

四、结论研究表明，作为随机变量的错同率属于正态分布在无作弊行为的正常常规考场情况下, 四选项选择题错同率平均值的高限估计为0.27,错同率的高限估计为0.70；五选项选择题错 同率平均值的高限估计为0.24,错同率的高限估计为0.54当两考生的双向错同率同吋高于 此上限估计时，有理由相信他们之间存在作弊嫌疑.当具备作弊的客观条件时，可以断定其 存在作弊行为，做此判定的错谋概率很小参考文献：[11张颖、赵世明、于惊涛•多选题作弊雷同的判定。