认知诊断理论.ppt

认知知诊断理断理论p 传统的考试结果只报告一个笼统的总分或能力分数，传统的考试结果只报告一个笼统的总分或能力分数，但分数相同的考生，往往具有不同的知识状态及不同的但分数相同的考生，往往具有不同的知识状态及不同的认知结构认知结构p 认知诊断理论把认知过程与测量手段结合起来，不认知诊断理论把认知过程与测量手段结合起来，不仅能对考生的整体水平做出评估，同时还可以将考生的仅能对考生的整体水平做出评估，同时还可以将考生的认知结构模式化，利用合适的测量模型对不同的认知结认知结构模式化，利用合适的测量模型对不同的认知结构模式进行诊断，从而定量地考察考生的认知结构和个构模式进行诊断，从而定量地考察考生的认知结构和个体差异认知诊断理论简介认知诊断理论简介认知诊断模型研究认知诊断模型研究 潜在特质模型潜在特质模型 潜在分类模型潜在分类模型p 线性逻辑特质模型线性逻辑特质模型p 多成分潜在特质模型多成分潜在特质模型p 拓拓广多广多成分潜在特质模型成分潜在特质模型p 规则空间规则空间模型模型p 融合融合模型模型p DINA模型模型 p NIDA模型模型p 贝叶斯网络贝叶斯网络潜在特质模型潜在特质模型线性逻辑特质模型线性逻辑特质模型 线性逻辑特质模型（线性逻辑特质模型（Linear Logistic Traits Model, LLTM）是潜在特质模型的基础，该模型首次实现了测量）是潜在特质模型的基础，该模型首次实现了测量与认知的结合。

与认知的结合 多用于语言理解能力、解二次方程的数学能力、空间多用于语言理解能力、解二次方程的数学能力、空间认知能力、类比推理能力的诊断认知能力、类比推理能力的诊断潜在特质模型潜在特质模型多成分潜在特质模型多成分潜在特质模型 多成分潜在特质模型（多成分潜在特质模型（Multicomponent Latent Traits Model, MLTM）把个体在标准测验项目上的反应表示为被试能力和项）把个体在标准测验项目上的反应表示为被试能力和项目难度在一套潜在加工成分上的联合函数，被试只有在所有子目难度在一套潜在加工成分上的联合函数，被试只有在所有子测验上的答对概率都高时，才能得到高的标准测验答对概率测验上的答对概率都高时，才能得到高的标准测验答对概率 该模型不仅注重被试的作答结果，而且考察被试作答结果的该模型不仅注重被试的作答结果，而且考察被试作答结果的组合方式，能更好的从认知加工过程的角度多维度地分析被试组合方式，能更好的从认知加工过程的角度多维度地分析被试间认知能力的差异，因此，该模型多应用于儿童智能发展过程、间认知能力的差异，因此，该模型多应用于儿童智能发展过程、数学学习能力的研究。

数学学习能力的研究潜在特质模型潜在特质模型拓广多成分潜在特质模型拓广多成分潜在特质模型 拓广多成分潜在特质模型（拓广多成分潜在特质模型（General Multicomponent Latent Traits Model, GLTM）假设子测验的难度受多个刺激特征的影响，）假设子测验的难度受多个刺激特征的影响，而且它们之间存在着线性的关系，从而将被试在各个加工成分而且它们之间存在着线性的关系，从而将被试在各个加工成分上的反应与分任务的刺激联系起来上的反应与分任务的刺激联系起来 GLTM综合考虑了综合考虑了MLTM和和LLTM的优点，一方面可以通过的优点，一方面可以通过控制刺激成分的复杂度来调整控制刺激成分的复杂度来调整刺激水平，另一方面，它所定刺激水平，另一方面，它所定义的潜在特质之间又如同义的潜在特质之间又如同MLTM那样是非补偿的那样是非补偿的潜在分类模型潜在分类模型规则空间模型规则空间模型 规则空间模型（规则空间模型（Rule Space Model, RSM）是潜在分类）是潜在分类模型的基础，其核心思想是：测验项目可以用特定的认模型的基础，其核心思想是：测验项目可以用特定的认知属性来刻画，同时个体的知识结构也可以用一组无法知属性来刻画，同时个体的知识结构也可以用一组无法直接观察到的认知属性掌握模式来表征，而且这些不能直接观察到的认知属性掌握模式来表征，而且这些不能直接观察到的认知属性掌握模式可以用可观察到的项目直接观察到的认知属性掌握模式可以用可观察到的项目反应模式恰当地表达。

反应模式恰当地表达 RSM能对被试者进行分类诊断，因而受到众多研究者能对被试者进行分类诊断，因而受到众多研究者的青睐潜在分类模型潜在分类模型融合模型融合模型 融合模型（融合模型（Fusion Model, FM））沿用沿用了了RSM中中Q矩阵的矩阵的理论和方法理论和方法 模拟实验表明，该模型的联合诊断正确概率较低研模拟实验表明，该模型的联合诊断正确概率较低研究表明，融合模型的正确诊断率会受到测验属性个数及究表明，融合模型的正确诊断率会受到测验属性个数及属性间相关程度的影响：属性越少，属性间的相关性越属性间相关程度的影响：属性越少，属性间的相关性越高，正确诊断率越高因此，对于认知属性多、属性间高，正确诊断率越高因此，对于认知属性多、属性间相关度低的测验，该模型适用困难相关度低的测验，该模型适用困难潜在分类模型潜在分类模型DINA模型模型 该模型把学生分成两类：一类掌握了正确作答该项目该模型把学生分成两类：一类掌握了正确作答该项目所需的全部属性，另一类至少有一个必需的属性未掌握所需的全部属性，另一类至少有一个必需的属性未掌握因此，因此，DINA模型的核心思想在于其假定考生在解题时，模型的核心思想在于其假定考生在解题时，如果缺少解答这一题所必需的任一个属性，该题的答对如果缺少解答这一题所必需的任一个属性，该题的答对概率就低，即使答对了该项目也只是由于猜测。

概率就低，即使答对了该项目也只是由于猜测 DINA模型仅涉及模型仅涉及““失误失误””和和““猜测猜测””两参数，真正实两参数，真正实现了对认知诊断模型的简化，参数易于识别现了对认知诊断模型的简化，参数易于识别潜在分类模型潜在分类模型NIDA模型模型 NIDA模型克服了模型克服了DINA模型对被试分类太简单等缺点，模型对被试分类太简单等缺点，能够更好的反映现实测量情景能够更好的反映现实测量情景 NIDA模型也定义了失误参数和猜测参数，但它从属模型也定义了失误参数和猜测参数，但它从属性的层面来定义这两个参数，使其独立于测验项目本身，性的层面来定义这两个参数，使其独立于测验项目本身，测验项目的答对概率是测验项目所包含的属性都正确应测验项目的答对概率是测验项目所包含的属性都正确应用的可能性用的可能性 适用于对大规模考试作辅助性的诊断研究适用于对大规模考试作辅助性的诊断研究潜在分类模型潜在分类模型贝叶斯网络贝叶斯网络 贝叶斯网络（贝叶斯网络（Bayesian Networks, BN）是图形化地）是图形化地表示一组变量间的联合概率分布的模型，包括一个结表示一组变量间的联合概率分布的模型，包括一个结构模型和与之相关的一组条件概率分布函数。

构模型和与之相关的一组条件概率分布函数 具有易于从大量的复杂数据中找到知识错误及认知具有易于从大量的复杂数据中找到知识错误及认知冲突的明显优势冲突的明显优势认知诊断在考试评价中的应用认知诊断在考试评价中的应用 命制诊断性试题命制诊断性试题 给出诊断式评分给出诊断式评分 推出诊断式评价报告推出诊断式评价报告命制诊断性试题命制诊断性试题 要实现认知诊断功能，试题首先具备诊断性应了要实现认知诊断功能，试题首先具备诊断性应了解待测特质的认知心理学分析过程，通过创新试题类型、解待测特质的认知心理学分析过程，通过创新试题类型、优化项目编写技术等编制出具有较强认知诊断功能的试优化项目编写技术等编制出具有较强认知诊断功能的试题 基于证据的考试设计理念基于证据的考试设计理念ECD 有效地将考试的目的、考试内容有效地将考试的目的、考试内容( (能力点能力点) )、能够证、能够证明考生能力的证据以及能够提供这些证据的题目等四个明考生能力的证据以及能够提供这些证据的题目等四个方面联系起来方面联系起来给出诊断式评分给出诊断式评分 如果只是对正确的部分记分，忽略了错误答案的价值，如果只是对正确的部分记分，忽略了错误答案的价值，那也就丧失了诊断的依据。

那也就丧失了诊断的依据 进行编码评分其中，编码所代表的分数有三种：满进行编码评分其中，编码所代表的分数有三种：满分、部分得分、零分；编码有双位编码和一位编码两种分、部分得分、零分；编码有双位编码和一位编码两种其双位编码的第一位数字代表学生应得的分数，第二位数其双位编码的第一位数字代表学生应得的分数，第二位数字代表学生的作答反应类型双位编码的使用记录了学生字代表学生的作答反应类型双位编码的使用记录了学生在解决给定问题的过程中所使用的策略，或是阻碍学生得在解决给定问题的过程中所使用的策略，或是阻碍学生得出正确解决方案的错误概念出正确解决方案的错误概念推出诊断性评估报告推出诊断性评估报告 认知诊断的任务更为重要的是从个体在测验上的作认知诊断的任务更为重要的是从个体在测验上的作答反应结果提供他们答反应结果提供他们““会什么会什么””、、““缺陷何在缺陷何在””的具的具体诊断因此应该不仅报告一个总分或能力分数，同体诊断因此应该不仅报告一个总分或能力分数，同时还要报告知识技能各个组成方面的分数，并写出针时还要报告知识技能各个组成方面的分数，并写出针对性的关于考生实有水平、相对优点和不足的评语，对性的关于考生实有水平、相对优点和不足的评语，以及对进一步发展的建议。

以及对进一步发展的建议 这种具有诊断功能的评价报告为适应性的个别这种具有诊断功能的评价报告为适应性的个别提供依据，有利于考生有针对性地进行矫正和接受相提供依据，有利于考生有针对性地进行矫正和接受相应的培训应的培训谢谢观赏谢谢观赏。