基于神经网络的项目参数估计方法

1、余嘉元 教授,博导。计算机科学2008Vol135 13基于神经网络的项目参数估计方法余嘉元 汪存友 (南京师范大学心理系 南京210097)摘 要 针对题库建设中项目参数估计的实际问题,提出了一种全新的基于神经网络的参数估计方法;并以二值记分 的3PLM为项目反应理论模型,以广义回归神经网络为网络模型,根据Monte Carlo实验法进行了模拟实验研究,最 后将神经网络方法与传统的数理统计估计方法进行了比较。结果表明,在小样本测验情况下,神经网络方法具有一定 的优势,尤其是当去掉对项目参数的先验概率分布的限制时,神经网络方法的优势更加明显,说明本文提出的方法具 有一定的价值。 关键词 广义回归神经网络,题库,项目反应理论,参数估计,小样本Method of Item Parameter Estimation Based on Neural NetworksYU Jia2Yuan WANG Cun2You(Department of Psychology , Nanjing Normal University , Nanjing 210097)Abstract To solve the

2、 problem on item parameter estimation when constructing item bank , a new method based onneural networks (NN) is proposed here. And by choosing three2parameter logistic model (3PLM) , general regressionneural networks ( GRNN) and Monte Carlo as the item response theory (IRT) model , NN model and experimentalmethod respectively , some simulation experiments are conducted. To inspect whether our method works well , a com2parison is carried out between the NN method and traditional method , which i

3、ndicates that the former is more advanta2geous , especially when the traditional method cancels its item prior constrains.Keywords General regression neural networks , Item bank , Item response theory , Parameter estimation , Small sample1 引言题库中试题(也称为 “项目”)参数的预先估计是实施计算 机自适应性测验(Computerized Adaptive Test ,CAT)的重要 前提,它的心理测量学基础是项目反应理论(Item ResponseTheory ,IRT)1。传统的项目参数估计方法通常基于数理统 计原理,如极大似然法、 贝叶斯估计法等等,这类方法的不足 在于需要大量考生参加编有新试题的试验性考试(称之为 “预 测”) ,不仅增大了题库建设的成本,同时也增加了试题提前曝 光的风险。因此,探讨较少考生样本下(以下简称为 “小样 本”)的

4、IRT项目参数估计是非常有价值的。 文2提出了一种全新的运用神经网络进行参数估计的 方法,它通过将所有考生在项目上的反应模式作为网络输入, 将项目的IRT参数值作为网络输出,进行网络建模,并通过 “锚题” 测验设计,提供训练样本以及训练网络;训练好的网络 就可以对小样本和连续记分的IRT参数进行估计,其模拟实 验表明该方法可以得到了较好的估计精度;文3对上文进行 了改进,消除了网络训练样本对 “锚题” 的依赖,使得此神经网 络估计方法更容易应用于实际测验情景。 但是,文2 ,3的不足在于其所采用的IRT模型是连续 记分的,在题库建设中并不常用,而基于二值记分的三参数Logistic模型(3PLM)则更为实用;所谓二值记分,即指考生 在项目上的作答要么正确,要么错误,如:单项选择题、 判断题 等。那么,适合于连续记分的神经网络项目参数估计方法是 否也适用于二值记分方式呢?本文利用广义回归神经网络( General Regression Neural Networks , GRNN)作为网络工具,并采用Monte Carlo实验法4,对此问题进行了模拟实验研究。2 基础理论与模型2. 1

5、二值记分的3PLM模型项目反应理论把考生在项目上的反应与考生的能力及项目参数之间的关系用一个非线性函数来表示,3PLM的函数式如公式(1)所示:pi()=ci+(1 -ci)eD ai(-bi) 1 + eD ai(-bi)(1)其中,表示所测试的考生的能力, ai、bi和ci分别表示项目i的基本参数:区分度、 难度和猜测系数, D表示常数值, pi()表示能力为的考生答对项目i的概率。如果以为横坐标 值、pi()为纵坐标值,并限定考生的能力取值范围在- 3,3 ,则对于项目i,可以绘出一条S型曲线。项目i的猜测系 数c为曲线与纵轴交叉处的概率值;区分度a的取值与曲线 拐点处斜率成正比;难度b取纵轴概率为0.5时曲线所对应 的横轴值。假设有M个考生参加编有N道试题的测验,当采用二 值记分方式时,若某考生答对项目i,则记为1分,否则记为0 分;那么,对于项目i,可以得到长度为M的由0或1组成的反应模式;项目参数估计的目的就在于为这个反应模式找到一组合理的参数 ai、 bi、 ci。2. 2 广义回归神经网络431GRNN是由Specht于1991年提出的5。它是一种前馈式监督型神经网络。

6、该网络的结构设计比较简单,它具有一个径向基隐层和一个线性输出层,只有一个网络参数需要调 节,具有学习速度快、 拟合能力强等优点,常用于解决回归问题,尤其非常成功地应用在函数拟合中。Matlab神经网络工具箱提供的广义回归网络设计函数为new grnn( P, T, S P)6,其中P为输入样本, T为输出期望, S P为径向基隐层神经元的宽度(也称为 “平滑系数”)。基于Matlab神经网络工具箱的GRNN结构如图1所示。其 中,网络的隐层和线性层神经元数均等于训练样本数,隐层权值IW1 ,1为训练样本输入的转置,且该层网络输入函数和传递函数分别为Euclidean距离函数和Gaussian函数。线性层权值LW2 ,1为训练样本的输出期望值,该层的网络输入函数和传递函数分别规则化点积函数和线性函数。设计IRT项目 参数估计的GRNN网络,应包括: 设计网络输入模式; 设计网络输出模式; 设计隐层神经元的宽度。图1 基于Matlab工具箱的GRNN结构图2. 3 神经网络建模方法及其理论依据极大似然法是IRT参数估计的主要方法,随后提出的许多参数估计方法也都是由此发展而来的7。所谓极大似

7、然估计,就是为考生在项目上的反应模式建立似然函数,通过迭代计算,找到使反应模式与似然函数最大化匹配的参数,这些参数即为所要估计的IRT值。对于项目参数估计,假设通过预测得到一个MN的反应矩阵, M表示考生数, N表示项目数,每个列矢量表示所有考生在该项目上的反应模式,称为“项目反应模式”,它反映了项目的基本特征;每个反应模式可建立一个似然函数,IRT项目参数估计的目标就是要找到使此似然函数与该反应模式最大化匹配的参数值。用式(2)表 示,即为:L (?y; a, b, c)= max a,b,c L (?y; a,b,c)(2)其中,?y表示所有考生在项目上的反应模式,L表示反应模式的似然函数,为项目所有可能取值的集合,当参数组合 ai、 bi、 ci使得L取值最大时,其即为该项目的IRT参数值。当项目上的反应模式不同时,其估计出的参数值也可能不同,例如,反应模式分别为1 0 1T和1 1 0T的两道试题的项目参数很可能并不相同;可见,在反应模式和IRT项目参数之间是存在某种关系的。倘若能够提供反映了项目反应模式与项目参数间关系的学习样本,用它们来训练神经网络,使之学习到二者间的关系,

8、那么,就可以将参数未知的项目反 应模式输入到网络,从而输出其IRT参数估计值了。3 实验研究3. 1 实验数据的产生办法考生在项目上的反应模式可通过三个步骤模拟得到:首先,将模拟得到的能力参数j和项目参数(ai、bi、ci)代入公式(1)后得到反应的概率值pij,然后,产生一个0,1范围内矩形分布的随机数r;最后,若pijr,则判定考生j答对项目i , 否则判定为答错。将考生在项目上的反应模式作为神经网络 的输入,将该项目的IRT参数值作为神经网络的输出,即可 完成神经网络的建模。能力参数和项目参数的取值范围、 概 率分布及其产生函数如表1所示。表1 IRT参数总体分布及取值范围IRT参数总体分布MATLAB函数取值范围 能力标准正态randn()- 4.4174,4.4174 难度b标准正态randn()- 3.1073,3.1073 区分度a对数正态log( randn() )0.3781,1.7728 猜测系数cbeta分布beta(3 ,30)0. 0061 , 0. 30423. 2 实验设计及步骤 实验中,要求预先提供部分IRT参数已知的项目,并将 之同待估计的测验项目编制

9、在一份试卷上,参数已知的那部 分项目可以作为网络的训练样本,而待估计的项目则可作为 测试样本。要完成对待估计的项目参数值的估计,需按如下 步骤进行,在此过程中将分别建立一个能力参数估计神经网 络和项目参数估计神经网络:Step1 模拟产生M1个考生能力参数(称为 “参加预测的 考生”) ;模拟产生N1个项目IRT参数(称为 “已知参数项 目”) ;然后,根据3. 1节中的方法,产生模拟的考生反应矩阵 (称为 “反应矩阵 ”) ;Step2 模拟产生N2个项目IRT参数(称为 “待估项 目”) ;然后,根据3. 1节中的方法,将之与 “参加预测的考生” 反应,产生模拟的考生反应矩阵(称为 “反应矩阵 ”) ;Step3 模拟产生M2个考生能力参数(称为 “模拟考 生”) ;然后,根据3. 1节中的方法,将之与 “已知参数项目” 反 应,产生模拟的考生反应矩阵(称为 “反应矩阵 ”) ;Step4 根据 “反应矩阵 ” 和 “模拟考生” 按行模式建立 并训练能力参数估计神经网络; GRNN的平滑系数采用凑试 法确定;Step5 将 “反应矩阵 ” 按行模式输入到已经训练好的 能力参数估计神经网络中,得到 “参加预测的考生” 的能力参 数的神经网络估计值(称为 “已估计考生”) ;Step6 模拟产生N3个项目IRT参数(称为 “模拟项 目”) ;然后,根据3. 1节中的方法,将之与 “已估计考生” 反应, 产生模拟的考生反应矩阵(称为 “反应矩阵 ”) ;Step7 根据 “反应矩阵 ” 和 “模拟项目” 按列模式建立 并训练项目参数估计神经网络; GRNN的平滑系数采用凑试 法确定;Step8 将 “反应 ” 按列模式输入步骤7中已经训练好 的项目参数估计神经网络中,得到 “待估项目” 的IRT参数的 神经网络估计值。 为了减小模拟实验中的随机误差,对项目参数重复抽样R1次,并在固定一批项目参数的情况下,对考生能力参数进 行重复抽样R2次。3. 3 误差统计指标 本文采用MC方法产生神经网络的训练样本和测试样 本,由于网络的输出也是已知的,因此,可以直接将

《基于神经网络的项目参数估计方法》由会员ji****n分享，可在线阅读，更多相关《基于神经网络的项目参数估计方法》请在金锄头文库上搜索。