
外语教学调查问卷的评价.ppt
16页外语教学调查问卷的评价外语教学调查问卷的评价本章结构本章结构n n问卷的项目分析n n问卷的信度分析n n问卷的效度分析极端分组法内部一致性分析法外在信度检验内在信度检验再测信度复本信度折半信度Cronbach alpha 系数内容效度结构效度:因子分析方法项目分析项目分析n n1. 1. 定义定义n n广义的项目分析是指对问卷项目进行广义的项目分析是指对问卷项目进行定性定性和和定量定量分析定性分析涉及分析定性分析涉及项目是否具有代表性,测量是否客观、准确等定量分析则是通过一项目是否具有代表性,测量是否客观、准确等定量分析则是通过一定的统计程序检验项目的区分度定的统计程序检验项目的区分度n n狭义的项目分析仅限于定量分析狭义的项目分析仅限于定量分析n n2. 2. 作用作用n n了解每个项目是否有效的区分了所测量的不同特性的受访者,从而有了解每个项目是否有效的区分了所测量的不同特性的受访者,从而有效地改进问卷的效地改进问卷的信度信度和和效度效度;了解每个项目的答案分布情况,以确保;了解每个项目的答案分布情况,以确保问卷项目具有良好的问卷项目具有良好的区分度区分度n n3. 3. 区分度区分度n n区分度是指问卷项目对所要测量内容的区分灵敏度或鉴别能力。
区分区分度是指问卷项目对所要测量内容的区分灵敏度或鉴别能力区分度的高低反映了问卷项目能否有效地区分受访者,也称为项目本身的度的高低反映了问卷项目能否有效地区分受访者,也称为项目本身的效度极端分组法极端分组法n n1. 1. 定义定义n n极端分组法就是根据受访者在各项目上的测评结果,先计算出全部问卷极端分组法就是根据受访者在各项目上的测评结果,先计算出全部问卷项目的总分,将问卷项目的总分从高到低排列,以项目的总分,将问卷项目的总分从高到低排列,以27%27%的标准分别抽取的标准分别抽取出高分组和低分组,最后进行出高分组和低分组,最后进行独立样本独立样本T T检验检验n n查看统计结果,看高分组和低分组在每个项目上的差异是否达到显著性查看统计结果,看高分组和低分组在每个项目上的差异是否达到显著性水平(水平(p p≤0.05≤0.05),如果达到显著性水平就说明该项目具有较好的鉴别度如果达到显著性水平就说明该项目具有较好的鉴别度n n2. 2. 独立样本独立样本T T检验检验n n独立样本独立样本T T检验是检验两个样本是否来自两个平均数相同的总体,即比检验是检验两个样本是否来自两个平均数相同的总体,即比较两组的平均值。
它必须具备两个假设条件:较两组的平均值它必须具备两个假设条件:1 1)两个总体都呈正态分布;)两个总体都呈正态分布;2 2)两个总体具有相同的方差两个总体具有相同的方差n n独立样本的独立样本的t t值等于两组平均值差除以两组平均值差的标准差值等于两组平均值差除以两组平均值差的标准差t t值越大,值越大,表明两组间的平均值的差异越大,就越有可能达到显著性水平表明两组间的平均值的差异越大,就越有可能达到显著性水平n n3. 3. 步骤步骤n n1 1)对问卷所有项目(即变量)的得分(即变量值)求和;)对问卷所有项目(即变量)的得分(即变量值)求和;n n2 2)根据总分的高低对受访者进行排序分组,取总分最高的)根据总分的高低对受访者进行排序分组,取总分最高的27%27%的受访的受访者作为高分组,取总分最低的者作为高分组,取总分最低的27%27%的受访者作为低分组若样本较小,的受访者作为低分组若样本较小,也可将前也可将前50%50%和后和后50%50%的受访者分别作为高分组和低分组的受访者分别作为高分组和低分组n n3 3)比较高分组和低分组在每个项目上的差异,如果差异小而达不到)比较高分组和低分组在每个项目上的差异,如果差异小而达不到显著水平,就意味着这个项目不能很好的区分不同的受访者,因此,显著水平,就意味着这个项目不能很好的区分不同的受访者,因此,在随后的数据分析中可以考虑将其排除。
在随后的数据分析中可以考虑将其排除内部一致性分析法内部一致性分析法n n1. 1. 概念概念n n内部一致性分析法也称相关分析方法,是指根据受访者在各项目上的内部一致性分析法也称相关分析方法,是指根据受访者在各项目上的测评结果,计算全部项目的总分,对每个项目与量表总分进行相关分测评结果,计算全部项目的总分,对每个项目与量表总分进行相关分析n n2. 2. 步骤步骤n n1 1)对问卷所有项目(即变量)的得分(即变量值)求和;)对问卷所有项目(即变量)的得分(即变量值)求和;n n2 2)对每个项目与总分进行相关分析如果相关系数等于或大于)对每个项目与总分进行相关分析如果相关系数等于或大于0.300.30,,且达到了显著性水平(且达到了显著性水平(p p≤0.05≤0.05)), ,则表明项目内部的一致性程度高,达则表明项目内部的一致性程度高,达不到该要求的项目需要删除不到该要求的项目需要删除n n注:注:①① 问卷项目区分度的大小受到受访者群体异质程度的影响,受访问卷项目区分度的大小受到受访者群体异质程度的影响,受访者群体越同质,问卷项目的区分度越小者群体越同质,问卷项目的区分度越小。
n n②②项目区分度还受到样本量大小的影响,样本越大,项目的区分度也项目区分度还受到样本量大小的影响,样本越大,项目的区分度也就越大信度分析信度分析n n1. 1. 定义定义n n信度也称可靠性,是指测量结果的稳定程度或信度也称可靠性,是指测量结果的稳定程度或一致性程度一致性程度它是关于使用问卷它是关于使用问卷在不同时间不同地点调查相同的受访者结果是否相同,或使用另外一份性质相在不同时间不同地点调查相同的受访者结果是否相同,或使用另外一份性质相同的问卷调查结果是否一致的问题同的问卷调查结果是否一致的问题信度就是可信度或者可靠性,信度越高(信度就是可信度或者可靠性,信度越高越可信,判断一个人可信不可信,言行是否一致,说的话前后是否一致,要是越可信,判断一个人可信不可信,言行是否一致,说的话前后是否一致,要是一天一个样说明不可信,关键在于一致性)一天一个样说明不可信,关键在于一致性)n n2. 2. 分类分类(外在就是整个问卷是否可信,内在就是问卷中的(外在就是整个问卷是否可信,内在就是问卷中的各个项是否可信)各个项是否可信)n n1 1)外在信度检验:通过对)外在信度检验:通过对累计检验结果累计检验结果进行比较来验证问卷的信度。
若结果进行比较来验证问卷的信度若结果差异较大,说明问卷的信度不高;若无明显差异,即测量结果具有一致性,说差异较大,说明问卷的信度不高;若无明显差异,即测量结果具有一致性,说明问卷的信度高明问卷的信度高 (一套难易水平相同的卷子,测验两次,第一次一套难易水平相同的卷子,测验两次,第一次2020分,第二分,第二次次100100分说明试卷信度低分说明试卷信度低) )n n2 2)内在信度检验:是指测量同一概念的不同项目之间的一致性,即检验量表)内在信度检验:是指测量同一概念的不同项目之间的一致性,即检验量表的的内在一致性内在一致性,目的是要测量相同现象的不同项目是否产生类似的结果目的是要测量相同现象的不同项目是否产生类似的结果还(还是这套卷子,第一题和第六题都是定语从句的,就换了换词,但是第一题对了,是这套卷子,第一题和第六题都是定语从句的,就换了换词,但是第一题对了,第六题没对,说明试卷对定语从句这个项目考查的内在信度低)第六题没对,说明试卷对定语从句这个项目考查的内在信度低)外在信度检验外在信度检验n n常用的是再测信度和复本信度常用的是再测信度和复本信度n n1. 1. 再测信度再测信度(再测就是再测一次)(再测就是再测一次)n n1 1)概念:是指用相同的问卷在不同的时间、相同或类似的条件下,)概念:是指用相同的问卷在不同的时间、相同或类似的条件下,对相同受访者进行先后两次测量,根据两次测量的结果进行相关分析,对相同受访者进行先后两次测量,根据两次测量的结果进行相关分析,得出相关系数,即为再测信度系数。
相关系数高就说明该测量工具稳得出相关系数,即为再测信度系数相关系数高就说明该测量工具稳定性好、信度高定性好、信度高设计一个问卷今天给你答了,一个月以后再给你(设计一个问卷今天给你答了,一个月以后再给你做,结果一致,再测信度系数就高,信度就高)做,结果一致,再测信度系数就高,信度就高)n n2 2)优点:可以为预测受访者的未来行为提供依据;能进行自身比较,)优点:可以为预测受访者的未来行为提供依据;能进行自身比较,从而避免了使用其他工具作为效标可能带来的问题从而避免了使用其他工具作为效标可能带来的问题n n3 3)缺点:与间隔时间的关系非常密切,初试测量可能影响被测特征缺点:与间隔时间的关系非常密切,初试测量可能影响被测特征例如受访者可能凭着对第一次测量的回忆来回答问题,导致无法客观例如受访者可能凭着对第一次测量的回忆来回答问题,导致无法客观地反映测量工具的信度地反映测量工具的信度如果今天测了隔天就再测,会想起昨天我(如果今天测了隔天就再测,会想起昨天我答得答得A A,今天还答,今天还答A A,凭借回忆来作答,不用思考甚至都不用看题,,凭借回忆来作答,不用思考甚至都不用看题,那和没有再测是一样的)那和没有再测是一样的)n n2. 2. 复本信度复本信度n n1 1)概念:是指设计两套形式不同但内容相同的问卷项目,同时或连)概念:是指设计两套形式不同但内容相同的问卷项目,同时或连续对受访者进行调查,然后检验不同问卷项目测量结果之间的一致性。
续对受访者进行调查,然后检验不同问卷项目测量结果之间的一致性两个测量结果之间的相关系数越高,测量工具的信度越好两个测量结果之间的相关系数越高,测量工具的信度越好n n2 2)使用条件:确保两个测量工具是平行或等值的,即无论是内容)使用条件:确保两个测量工具是平行或等值的,即无论是内容还还是是数量都必须相同或类似数量都必须相同或类似孩子你喜欢爸爸还是妈妈,说爸爸,过(孩子你喜欢爸爸还是妈妈,说爸爸,过会问孩子,爸爸好还是妈妈好,他说爸爸好,就比较可信但是你不会问孩子,爸爸好还是妈妈好,他说爸爸好,就比较可信但是你不能问,孩子,吃了吗,没意义,不论回答吃没吃都不能推测出到底是能问,孩子,吃了吗,没意义,不论回答吃没吃都不能推测出到底是不是真的喜欢爸爸)不是真的喜欢爸爸) n n3 3)优点:可以很好地避免再测)优点:可以很好地避免再测信信度中受访者可能凭记忆回答的问题,度中受访者可能凭记忆回答的问题,而且也不要求两次测量必须有时间间隔而且也不要求两次测量必须有时间间隔既然再测信度要求有比较(既然再测信度要求有比较长的时间间隔,那么怎么避免呢长的时间间隔,那么怎么避免呢n n4 4)缺点:需要耗费大量的时间,设计难度大。
缺点:需要耗费大量的时间,设计难度大那有一个问题,就(那有一个问题,就是怎么设计出两份内容相同而只是形式不同的问卷,而受访者又不会是怎么设计出两份内容相同而只是形式不同的问卷,而受访者又不会发现问的其实是同样的问题?刚才那是小孩,一般承认一听就知道问发现问的其实是同样的问题?刚才那是小孩,一般承认一听就知道问的一样,所以这是很难的,这也是复本信度的缺点的一样,所以这是很难的,这也是复本信度的缺点 内在信度检验内在信度检验n n常用的有折半信度和常用的有折半信度和Cronbach alphaCronbach alpha系数计算法系数计算法n n1. 1. 折半信度折半信度(与复本信度类似)(与复本信度类似)n n1 1)概念:是指在问卷量表中增加一倍的测量项目,重复前半部分项)概念:是指在问卷量表中增加一倍的测量项目,重复前半部分项目的测量内容,但在措辞上不同,分析时将测量结果根据问卷项目编目的测量内容,但在措辞上不同,分析时将测量结果根据问卷项目编号的单双号分为两组,计算两组之间的相关系数即为信度指标号的单双号分为两组,计算两组之间的相关系数即为信度指标n n2 2)优点:可对两部分项目同时施测,间隔时间为)优点:可对两部分项目同时施测,间隔时间为0 0,省时、简便。
省时、简便n n3 3)缺点:如问卷项目的排列没有规律或者问卷项目的数量太少,均)缺点:如问卷项目的排列没有规律或者问卷项目的数量太少,均不宜使用折半信度方法,该方法只能对问卷内在一致性做出粗略估计不宜使用折半信度方法,该方法只能对问卷内在一致性做出粗略估计n n(本来(本来2020题我们增加到题我们增加到4040题,要是这两部分项目排列没规律,则可能:题,要是这两部分项目排列没规律,则可能:第第2020题和第题和第2121题是内容相同的但被放在一起;数量太少比如本来就俩题是内容相同的但被放在一起;数量太少比如本来就俩题你增加到四个就算怎么排列都是挨着的)题你增加到四个就算怎么排列都是挨着的)n n2. Cronbach alpha2. Cronbach alpha系数计算法系数计算法n n1 1)概念:克隆巴赫系数()概念:克隆巴赫系数(Cronbach alphaCronbach alpha)是检视信度的一种方法,)是检视信度的一种方法,由李由李· ·克隆巴赫在克隆巴赫在19511951年提出它克服了折半法的缺点,是目前社会科年提出它克服了折半法的缺点,是目前社会科学研究最常使用的信度分析方法。
学研究最常使用的信度分析方法n n2 2)原理:基于项目间的平均相关,如果测出的内在一致性很差,其)原理:基于项目间的平均相关,如果测出的内在一致性很差,其αα系数最低时会为系数最低时会为0 0;如果内在一致性很好没有误差时,;如果内在一致性很好没有误差时,αα系数会为系数会为1 1系数越高,说明量表的内在一致性越强,测量结果越可靠系数越高,说明量表的内在一致性越强,测量结果越可靠n n3 3))评价标准:在基础研究中,评价标准:在基础研究中,(自然科学等基础领域,要求过程严(自然科学等基础领域,要求过程严谨,结果准确)谨,结果准确)信度至少应达到信度至少应达到 0.80 0.80 才可接受,在探索性研究中,才可接受,在探索性研究中,(可能给不出比较严谨准确的结果,只是先探索探索)(可能给不出比较严谨准确的结果,只是先探索探索)信度只要达到信度只要达到 0.70 0.70 就可接受,介于就可接受,介于 0.70 0.70--0.98 0.98 均属高信度均属高信度, ,而低于而低于 0.35 0.35 则为低信度,则为低信度,必须予以拒绝必须予以拒绝n n影响因素:影响因素:n n①① 量表项目数:某个量表的项目数越多,量表项目数:某个量表的项目数越多, αα系数越高。
系数越高一俩题说(一俩题说明不了问题)明不了问题)n n②② 测量内容:不同的测量内容,信度系数有高有低例如,智力的测测量内容:不同的测量内容,信度系数有高有低例如,智力的测量,量,αα系数在系数在0.80.8左右;能力的测量,左右;能力的测量,αα系数不应低于系数不应低于0.70.7;情感因素;情感因素(今天心情好,明天心情不好,变量和影响因素太多)(今天心情好,明天心情不好,变量和影响因素太多)的测量,的测量,αα系系数往往更低数往往更低效度分析效度分析n n1. 1. 定义定义n n效度是指测量工具对所要测量的东西的测量能力,也就是说,测量工效度是指测量工具对所要测量的东西的测量能力,也就是说,测量工具可以在多大程度上准确的测量所要测量的东西信度是基础,效度具可以在多大程度上准确的测量所要测量的东西信度是基础,效度是关键n n2. 2. 分类分类n n1 1)内在效度:是指存在于测量工具本身的效度包括内容效度和结)内在效度:是指存在于测量工具本身的效度包括内容效度和结构效度n n2 2)外在效度:是指利用测量工具以外的标准,即通过外在标准验证)外在效度:是指利用测量工具以外的标准,即通过外在标准验证而得以证实的效度。
包括预示效度和共时效度而得以证实的效度包括预示效度和共时效度n n注:一般情况下,外语教学问卷调查研究只需要做内容效度和结构效注:一般情况下,外语教学问卷调查研究只需要做内容效度和结构效度检验内容效度内容效度n n1. 1. 概念概念n n内容效度涉及问卷项目或问题的关联性以及问卷的覆盖范围,问卷是内容效度涉及问卷项目或问题的关联性以及问卷的覆盖范围,问卷是否包括了应该包括的测量指标,是否遗漏了重要的测量指标,是否准否包括了应该包括的测量指标,是否遗漏了重要的测量指标,是否准确完整的测量了这些结构等确完整的测量了这些结构等n n2. 2. 评价步骤评价步骤n n1 1)研究者自评研究者根据自己对所测结构的定义和理解,检查自)研究者自评研究者根据自己对所测结构的定义和理解,检查自己设计的测量指标与现有文献的测量指标是否一致己设计的测量指标与现有文献的测量指标是否一致n n2 2)专家评价邀请本领域专家对问卷项目与应测结构的内容范围进)专家评价邀请本领域专家对问卷项目与应测结构的内容范围进行对比n n3 3)受访者评价通过试测和访谈了解问卷项目与应测量内容之间的)受访者评价通过试测和访谈了解问卷项目与应测量内容之间的关系。
关系结构效度结构效度n n1. 1. 定义定义n n结构效度中的结构不是指测量工具的结构,而是指它以之为基础的理结构效度中的结构不是指测量工具的结构,而是指它以之为基础的理论结构(如学习成绩、学习策略、兴趣等)结构效度是指问卷项目论结构(如学习成绩、学习策略、兴趣等)结构效度是指问卷项目对所要测量结构的实际测量程度,或者说问卷能够在多大程度上被理对所要测量结构的实际测量程度,或者说问卷能够在多大程度上被理解为对某些特征进行了有意义的测量解为对某些特征进行了有意义的测量n n2. 2. 检验方法检验方法n n建立结构效度的方法包括相关分析、因子分析、多维量表等最常用建立结构效度的方法包括相关分析、因子分析、多维量表等最常用的为因子分析的为因子分析n n3. 3. 因子分析简介因子分析简介n n1 1)概念:因子分析的基本目的就是用少数几个因子去描述许多指标)概念:因子分析的基本目的就是用少数几个因子去描述许多指标或因素之间的联系,即将相关比较密切的几个变量归在同一类中,每或因素之间的联系,即将相关比较密切的几个变量归在同一类中,每一类变量就成为一个因子,以较少的几个因子反映原资料的大部分信一类变量就成为一个因子,以较少的几个因子反映原资料的大部分信息。
息n n2 2)步骤:)步骤:n n⑴⑴确认待分析的原变量是否适合作因子分析确认待分析的原变量是否适合作因子分析n n⑵⑵构造因子变量,确定因子的数目和求因子解的方法构造因子变量,确定因子的数目和求因子解的方法n n⑶⑶利用旋转方法使因子变量更具有可解释性利用旋转方法使因子变量更具有可解释性n n⑷⑷计算因子变量得分计算因子变量得分n n3 3)优点:因子分析法就能很好的涵盖原始数据的各个项,同时将分)优点:因子分析法就能很好的涵盖原始数据的各个项,同时将分析过程简化为因子项的分析,从而简便、快捷析过程简化为因子项的分析,从而简便、快捷n n4 4)缺点:因子分析只能面对综合性的评价,同时对数据的数据量和)缺点:因子分析只能面对综合性的评价,同时对数据的数据量和成分也有要求,在设计调查问卷的时候也需要针对性地设计问题成分也有要求,在设计调查问卷的时候也需要针对性地设计问题。












