认知诊断理论与考试评价[1].pdf

再梨羔爆赢赢蔽一一一一一一———认知诊断理论与考试评价?关丹丹摘共?认知诊断理论—新一代侧脸理论的核心,是认知心理学与心理侧?学相结合的产物本文简要介绍了认知诊断理论及其研究和应用 现状,并对我国在大规模 统一考试 中如何实现诊断功能提 出了建议关?切?认知诊断理论?认知心理学?心理测?学?教育评价?中?分典号】?扣?【文傲标识码】?【文章绷号】?? ? ??料溯脚朋冲以阴卜??引言传统的考试结果只报告一个笼统的总分或能力分数,但分数相同的考生,往往具有 不同的知识状态及不同的认知结构因此,考生与家长越来越不满足于只能得到个体宏观层面的评价,他们更希望测验能够提供具体的、个性化的诊断信息,尤其是能够体现考生 的认知结构?考生掌握了哪些知识点?,并提出相应的建议?考生哪些方面 尚需要加强?,这就是我们所说的认知诊断认知诊断理论是认知心理学与现代测量学相结合的产物,现已成为心理和教育测量学研究中一个受人关注的方向认知诊断理 论简介按照??? ?? ??? ??的观点,心理与教育测量理论发展至今大约经历了两个阶段?第一阶段为标准测验理论阶段??? ? ?? ? ? ?? ?? ?? ?? ??,包括经典测量理论???? ????? ?介??仆? ?叮,?竹?、项目反应理论??????? ?卯?? ?仆? ?守,????和概化理论?? ???耐???? ?? ? ?? ?? ?? ?? ?,?? ??第二阶段是以认知诊断〔? ?? ???? ? ?? ?? ? ? ? ??为核心内容的新 一代测验理论?。

?? ?? ???? ???? ????认知诊断理论的两大基础是认知心理学 与心理测量学认知心理学的分析不仅可以明确被试正确作答所需的技能、策略、知识基础与加工过程,还可以明确项目特征和刺激条件与作答反应的关系,从而有力地提高测验编制过程对 难度等性能的预控性而要最终 实现对被试个体差异的分析和解释,还必须强调测验设计,即根据测量对象的实质性心理模型来选择、编制项目和测验,达到详细描述被试间差异的目的认知诊断理论把认知过程与测量手段结合起来,不仅能对考生的整体水平做出??中国考试??? ? 刃年第?期评估,同时还可以将考生 的认知结构模式 化,利用合适的测量模型对不同的认知结构模式进行诊断,从而定量地考察考生的认知结构和个体差异 ???工?认为,传统测验与能实现诊断功能的新一代测验至少有四种不同的特征?第一,传统测验测量的是普遍的能力,而诊断测验测量的是特定的心理特质传统测验将测量对象视为“统计结构”,而诊断测验试图将这一“统计结构”进行分解,更深人地探测个体内部的心理特质第二,传统测验假设不同水平的技能连续性变化,而认知诊断测验测量的特质可能是“全或无”在传统测验 中,所测量 的能力在一个连续性的量尺上变化,测验的目的是为了将所测能力在连续性量尺上定位。

在认知诊 断测验 中,所测量的特质如策略、技 能等可能会呈有或无的状态第三,传统测验中技能是单维的或多维的?认知诊断测验中的技能的组成部分可以是许多模式互相联系起来的不 同的考生,或在不同的情境下,可以使用不 同的策略,技能的组成部分存在时间或逻辑的相依第四,传统测验应用 的是项目一致性模型?而在认知诊断测验中,应用 的则是离散性特征模型认知诊断所测量的特质之间不仅存在量的差异,更可能存在质的差异因此,离散性特征模型更为适用认知诊断的研究现状???认知诊断模型的相关研究在认知诊断研究的过程中,有大量认知诊断模型被开发并用于认知诊断这些模型大概分为以下三大类?学生模型、概念网络模型和心理测量属性模型学生模型主要诊断被试个体是否掌握某一领域 中的产生式规则,尤其适合于学生个体计算机编程知识的跟踪学习及诊断评估概念网络模型主要诊 断评估被试个体在某一 知识领域 中或在某一特定问题的解决过程 中所涉及的关键概念及其关系的掌握情况所以,概念网络模型实际上是认知心理学的诊断评估方法心理测量属性模型是近些年发展最为快速和最为丰富的,至今有近? ?种模型这些认知诊断的心理测量属性模型有两个基础模型,一个是? ?? ?? ?提出的线性逻辑斯蒂克特质模型?????? ???? ?????? ? ???????,?????,另一个是? ???? ????等提出的规则空? ’? ?模型?? ???,?? ????? ??????盯,? ???。

在这两个模型的基础上又发展出其他许多模型,如融合模型、?? ?模型、统一模型、? ???模型、???模型,以及多级评分的认知诊断模型和多维认知诊断模型每个模型对应于各 自的特殊应用对象,模型间从表现形式到诊 断功能都有较大的差异可见,模型的丰富性根源于认知分析成果 内在结构的丰富性大多数模型都比较复杂,有 的模型?如统一模型?甚至过于复杂,以至其中未知参数不能全部识别相比较而言,????? ?? ?的规则空间模型?? ? ?是目前最成熟、也是最有影响力的心理测量属性模型规则空间模型的一个基本假设是?测验项目可以用特定的认知属性来刻画,而个体的某种认知结构,可用一组通常无法直接观察的认知属性掌握模式来表征同时,这种不可观察的认知属性掌握模式又能用恰当的可观察的项目反应类型来表征其分析步骤 由两部分构成?第一步是确立 ?矩阵理论??一? ? ? ? ? ?? ?? ??,该理论主要是要确定测验项目所测的不可观察的认知属性,并把它转化为可观察的项目反应模式第 二步是规则空间 的构建及判别,在规则空间中将被试的作答反应模式与理想反应模式按距离判别法以及贝叶斯方法进行判别,从而对被试的认知结构进行诊断。

实际上,???与??? 一样,都是在项目反应理论?? ?? ?的基础上建立起来的,是一种将被试在测验项目上的作答反应划归为某种与认知技能相联系的属性掌握模式的统计方法所以,认知诊断是与现代测量理论尤其是?? ?的发展密不可分的,这种基于?? ?的认知诊断模型??解一?? ?????,???? 卿? ?????????,,? ?????火?? ??? ?吻 ?与测量??? ????? ??? ????????? ?? ???最大的挑战是需要确定,在模型设置中哪些方面应该由专家限定,哪些方面能够通过观测到的项目反应数据推测 出来随着测量模型和算法的演进,对于各种复 杂情境的处理方法也变得愈加丰富,测量模型的选择正成为认知诊断研究与应用的一个核心问题 ??认知诊断的相关应用目前认知诊断主要应用 在两个领域,一是知识领域,另一个是一般智力领域前者的主要目的是为教育与决策提供相对丰富的信息?后者的主要目的是心理学理论的构建与实现在考试 与评价研究发达的美国,认知诊断引起了政府和教育考试服务 中心??巧?的关注 ??年,美国正式通过了法案“???????玩? ? ????????? ??? ??”,它规定美国所有实施的测验必须提供诊断信息给家长、学生和老师。

在美国,现在社会主流舆论均认为,只考试不诊断或者只诊断而不作补救性的教学,都是不负责任的表现考试与评价的作用已不止是选拔和资格认证,还要为促进学生发展服务尽管认知诊断也吸引了大量研究者的注意,但认知诊断更多地是停留在研究领域和小规模的应用领域,在社会上大规模的考试中的应用并不多见目前,美国典型的大规模认知诊断测验是? ?? ??高考预考?另外,鉴于计算机自适应考试???? ?技术的成熟,一些研究者正在致力于开发具有认知诊断功能的计算机化自适应考试,并有一些成熟的范例,有的已经很好地应用于实践中,如?妞??? ?? ? 应用规则空间方法开发的自适应考试系统,可以很好地对个体的特定属性进行认知诊断东亚各国不约而同取经美国,把认知诊断应用于本国的教育测验,如在韩国 ? ??把规则空间方法应用于大学学业能力考试?在日本,?? ?? ?? ?则对规则空间方法和神经网络模型??? ? ? ??????? ??????,? ???进行了比较研究与国外相比,我国对认知诊断的研究 尚处于起步阶段,研究时间短,但进展较快近几年常有一些与认知诊断有关的研究成果发表,部分学者还就具有认知诊断功能的计算机化自适应测验的研究与实现等问题进行了探讨。

尝试采用多策略多成分潜在特质模型???? ? ???? ?对言语推理和图形推理进行认知诊断的研究显示,通过认知诊断,可以对个体类比推理的正确作答概 率及能力结构进 行分解,从而得以在更微观更细致的层面上对个体的推理水平做出评价?另外,还 可以依据个体的作 答反应模式对他们错误解答图形推理题目的原因做出诊断但总体上,国内关于认知诊断理论还处于小规模的研究与应用范畴,至今未见令人兴奋的实际应用认知诊断理论对考试评价 的启示个体所得测验总分相同或者在传统测验上 的行为表现一致,并不代表他们一定有相同的心理加工过程事实上,他们可能有不同的知识结构和解决问题的策略一个单一而笼统的总分往往会掩盖这些差别新一代测量理论—认知诊断则克服了这一局限性,它很好地将认知心理学的理论成果与现代的统计方法结合了起来,通过深入地分析、考察个体内部的心理机制和微观过程,为个体下一步的矫正、培训提供了方向和指导在我 国各项大规模统一考试中,如何既发挥选拔或 资格认证的功 能,又起到认知诊断的作用,从而促进 学生综 合素质的和谐发展呢?笔者拟从以下三个方面展开探讨命制诊断性试月要实现测验的认知诊断功能,首先试题本 身需要具备诊断性。

我们要了解待测特质的认知心理学分析过 程,通过创新试题类型、优化项目编写技术等编制出具有较强认知诊断功能的试题例如,选择题的错误选项并不是随意编制的,它应源于学生???中国考试??? !为年第?期在学习过程 中常犯的错误另外,?巧提出的基于证据的考试设计理念??? ?在设计诊 断性试题上非常具有借鉴价值,它有效地把四个方面联系在一起?考试的目的,考试内容?能力点?,能够证明考生能力 的证据??? ??? ?? ??,以及能够提供这些证据的题目 ? 强调的是在设计一个考试之初将考试者希望考生必须掌握的知识点进行详细地划分,并以此来选择合适的题型考查这一能力和命制这一题型的一系列试题基于证据的考试设计显然是最有助于诊断的,它使考试成绩更有说服力 ??给出诊断式评分在一个全部是选择题的考试中,考生可能总分相同,但正确作答的题目不完全相同?即使正确作答的题目完全相同,但错误做答的选项 则往往是因人而异的选择题尚如此,可以想见其他开放性试题的作答情况如果只是对正确的部分记分,忽略了错误答案的价值,那也就丧失了诊断的依据学生能力国际评价??? ?? ? ? ?? ? ? ?? ?? ??? ?? ??? ? ? ?? ?????????? ?? ? ?????,?????在诊断式评 分方面给我们带来了有益启示。

???所有需要较多阐述的开放性试题都由培训合格的评分员,根据编码评分标准,按照相应的编码方式进行评分其中,编码所代表的分数有三种?满分、部分得分、零分?编码有 双位编码和一位编码两种其双位编码的第一位数字代表学生应得的分数,第二位数字代表学生的作答反应类型双位编码的使用记录了学生在解决给定问题的过程中所使用的策略,或是阻碍学生得出正确解决方案的错误概念这种评分方式有利于后期数据分析的进行以及最终评价结果报告的生成,因为,即使考生得了零分,通过考试也获取了学生错误类型的信息作为学生个体诊断的依据推出诊断性评价报告认知诊 断的任务不仅是参照团体对考试分数进行解释,更为重要 的是从个体在测验上的作答反应结果提供他们“会什么”、“缺陷何在”的具体诊断信息这就要求我们不再只是报告一个总分或能力分数? ?值?,同时还要报告知识技 能各个组成方面的分数,并写出针对性的关于考生 实有水平、相对优点和不足 的评 语,以及 对进一步发展的建议 ?年推出的全国英语等级考试???? ??的笔试成绩报告单在一定程度上就属于诊断性评价报告,尤其是针对?? ? ?个级别建立在同一能力量表上的特点,任何考生均可以在所给量表上清楚地看到自己离所考级别和上一级别合格分数线 的距离,明晰自己的语言能力。

这种具有诊断功能的评价报告为适应性的个别提供依据,有利于考生有针对性地进行矫正和接受相应的培训结束语认知诊断既是测量理论自身发展的产物,也是社会尤其是教育领域要求测验提供更 多信息的结果认知诊断是当代测验发展的新追求,可以为新课程改革所强调的素质教育提供有力的评价和诊断工具,具有极大的应用价值但是,认知诊断研究也是一个系统的复杂的研究工作,它的整体实施流程包 括对测量对象的认知分析、编制试题、确定评分规则、统计分析结果的反馈、程序编制、预测验、效度研究等几个过程,只有 学科 专家、认知心理学家、教育与心理测量学家、计算 机专家形成分工协作的研究团队,发挥各 自所长,才能加速 实现具有认知诊断功能的大规模考试参考文献?????叮????? ???? ? ? ??? ???? ??? ??? ?? ?? ?·???? ?找泪?? ??? ????公?? ???手阴?? ?? ?? ?? ?? ??? ?,? ?? ?? ?? ?? ???创??? ?? ?? ?目?? ??? ??,?? ? !」翻翻 E.Cor ter.Usi叱elustedng meth司.t oe冲】花阮s t r uet ur eo f山砚尹.石e如t S.I n:Pa UID.Nieho l s,Su.F.Chi pm a n,Ro br tLB~剧..C飞贝it iv e ly d i叫,翻t ie~nt,肠w二eeErl baumA~i a tes,Ine,19 95.30’7.刘声涛,戴海崎,周骏.新一代侧验理论—认 知诊断理论的源起与特征.心理学探新,2( X拓,26 (4 ).eh.n。

m.n.ns{11与侧量GSSm6ntsndMe8SUr Gm6nt1 4 ] B O ltD.仆ep~n ia nd f u t u r e成 IR T一b.团e火贝It iv ed i网,1朋t icm闭e卜(I CD Ms ) a nd二加司.山记..】侧m目 o fE dueatjon目 M~sur e祝nt.2( X )7,4 4(4).[ 5 ]城海崎,周骏.刘声涛.认知诊断两 大基础研究及其发展述评.全国教育与心理统计侧t 学术年会论文摘要.中国教育学会教育统计t 分会&中国心理学会心理侧t专业委 员会编,2以场.1 6】U: sHo us e试瓜p~n晒v e s(2加1),T巴试 NoC hild址n B曲in dAet.[7]Ta妞uo ka,K.K.C.p ut e血曰C创护it iv e压曳贝的eA d即tiveTe s t i峪Ef f云三to nRe巾已i以 卜切胜”dio n.Em P沉司v目id‘on.J侧m目o fE-due西和a lMe a s m ent,19 97,3 4(l).[ 8】竺培梁.你知道R SM吗?外国中小学教育.2以场(7 ).1 9 ]杨淑群.姜楠,丁树良,丁秋林.认知诊断新模型.中国仪器仪表学会第九届青年学术会议论文集.2叨7.[ l0 ] 林海普.丁树良.具有认知诊断功能的计算机化 自 适应侧验的研究 与实现.心理学报.2以刀(4 )[ l l ]宋宜梅.多策略多成分潜在特质模型在类比推理侧验分析中的应用研究.〔硕士学位论文〕.南昌:江西师范大学,2以拓.[ l2 ]刘润香.中学生图形推理侧验认知特征诊断及其与认知方式的关系研究.[硕士学位论文].南昌:江西师范大学,2007.1 13 ]刘启亮,孔外平.谈谈心理与教育测t理论的发展.重庆科技学院学报(杜会科学版).2( X )8(2 ).1 14 ] 乔辉.基于证据的考试设计理念 (ECD )介绍.中国考试.2007(12).[ l 5 ]王份.能力侧试题库的建构—来自Pl sA的启示.中国考试.2( X )7(12).1 16 ] 刘庆思,赵祖华,莫春晖.谈PETs笔试成绩报 告单的设计.中国考试.2加8(4 ).作者单位:教 育部 考试中心C雌对廿ve戏ag no s i s T七e O叮and Educ at ion目 A翻别芝资men tGU A NDa nds nA饭内旧ct:Co,it ivediag llo sist he o叮,theeor eofanew罗ner a t iono ftes tt he o耳,15theproduetoftheeor n bina tionO feo,itivepsyehol呵a n d psyehom et r iet he o叮.T hisp平rg ive s abr iefint r t心uetiono ftheeo,it ivediag nosisa nd itsr esea r cha ndeu r r entapP liea t ion st a t us.Itof f er s t he sug gestions ab outhowto earr youtthediag nosiso ftesti叱inla rge一s ca leedu ea t io na la ss es sme nt·Keywords:Co,itivediagllosist he o叮;Co,itiv epsyeho l呵;Psyehomet r ie s;Eduea tiona l a ss es sment121中国考试。