对大学生调查效度的质疑与原因探析.docx

对大学生调查效度的质疑与原因探析 摘要：有效的教育评估必须建立在对教育属性客观描述的基础上在高等教育领域，大多数的定量研究都在关注大学生此外，由于研究机构数据库的局限性，关于大学生的调查已经成为高等教育研究中使用最频繁的数据源之一因此，获得关于大学生的可靠而有效的数据，对于高等教育实践者和研究者来说都是至关重要的本文通过对大学生调查中最著名的调查即“全美大学生学习投入性调查（NSSE）”的低效度分析，窥探当前大学生调查的效度问题，并对提高大学生调查的效度提出建议　　关键词：大学生调查，效度，教育评估　　一、问题的缘起　　2011年第35期的The Review of Higher Education（RHE）深入探讨了美国全国大学生参与度调查（National Survey of Student Engagement，NSSE）以及相关的系列调查RHE主编M.A.Olivas曾以公开信的方式呼吁George D.Kuh执掌的NSSE应该接受多方研究人员的建议，并回应RHE所提出的关于NSSE测量的理论基础、效度等各项疑问，然而并没有得到相应的回应究竟高等教育领域大学生参与度调查的可信度与效度如何，Kuh的后续回应与发展有待持续关注。

然而有关大学生调查的理论基础、信效度相关问题，一直受到各方学者的关注，尤其是不断发展、提出的各种理论，皆在希望能更完整地捕捉学生的经验本文就是在这样的背景下，通过对大学生调查中最著名的调查即“全美大学生学习投入性调查（NSSE）”的低效度分析以窥探当前大学生调查的效度问题，并对提高大学生调查的效度提供建议，其最终目的在于为高等教育测量关于大学生的调查提供更科学的工具　　（一）NSSE及其应用　　全美大学生学习性投入调查的英文为National Survey of Student Engagement，缩写为NSSE，是从学生投入各项有效学习活动的程度来体现大学教学质量的调查项目NSSE的测量工具包括28组选择题，通过对在校新生和毕业班学生进行抽样调查，获取大学生在校学习期间参与项目和活动的情况，其结果为判断在校大学生如何度过在校时间以及收获如何提供依据从国外看，以美国为例，已经存在多个针对学生群体、有益于学校了解教育现状、提高教育质量的评价方式，如新生学习投入性调查（BCSSE）、学生学习投入的教师调查（FSSE）、大学生问卷调查（CESQ）、大学生学习评价（CLA）、大学学术能力评价（CAAP）等。

NSSE是其中最有影响力者，它以学生在校经验为评测重点，在高等教育评价上是一个较大创新，也拓展了高等教育质量评价的途径[1]此外，实践证明NSSE为本科教育质量的评估以及教育质量保障提供了新视角、新方法，且具有相当大的实践性与科学性进入21世纪以来，国内高等教育变革进入质的提高阶段，教育评估作为本科教育质量保障的重要手段与关键环节，受到前所未有的关注有效的教育评估必须建立在对教育属性客观描述的基础上，即教育测量这也是目前我国高等教育评估实践中存在的最突出问题基于以上原因，2009年，清华大学牵头启动了“中国大学生学习性投入调查”，即通过翻译、题项的文化适应、认知访谈等对NSSE题项进行修改并完成了NSSE问卷汉化版即NSSE-China　　（二）对大学生调查效度的质疑　　大学生调查真的有效度吗？如果作为最著名的大学生调查都存在低效度问题，可以想见其他关于大学生的调查效度都是值得怀疑的在设计评估工具时，效度无疑是最重要的特性，其逻辑关系主要表现在条目和测试目标以及教育研究结果是否保持一致全美大学生学习投入性调查（NSSE），被研究者和研究机构广泛采用NSSE研究者声称该调查是由研究者和评估机构工作人员共同设计的，有较高的信度，可以用作调查的一种模型。

然而通过分析，NSSE在问题设计方面效度不足：首先，NSSE是基于这样的假设，即认为大学生能够很容易地自我报告态度和行为方面的信息然而，基于人类认知规律和调查反馈表明，大学生并不能够准确报告这些信息；其次，现有研究表明，大学生在正确回答哪怕是关于简单的事实信息也存在障碍；最后，高等教育研究者引用的作为效度的证据实际上效度不足　　二、对大学生调查低效度的原因探析　　效度即有效性，它是指测量工具或手段能够准确测出所需测量的事物的程度即所测量到的结果反映所想要考察内容的程度，测量结果与要考察的内容越吻合，效度越高影响效度的因素主要有三个方面：其一，测验本身的因素包括取材的代表性、测验长度、试题类型、难度、区分度以及编排方式等；其二，测验实施中的干扰因素包括主试、被试的影响；其三，样本团体的性质包括年龄、性别、教育水平、智力、动机、兴趣、职业等鉴于影响效度的因素如此复杂多变，任何调查在效度方面都或多或少地存在一些问题　　（一）对理论背景的分析　　NSSE的理论基础之一是“良好实践理论”，其调查是为评估学生凭经验参与的程度和他们从大学经历中获得了什么而设计的学校可以通过使用这些数据改善本科教育的质量，州可以通过这些数据测评教育机构的表现情况，公众也可以通过对大学质量的测评选择大学[2]。

此外，调查项目可以结合制定出一个对学生行为有效测量的量表[3]，单个的调查项目也可以用作学生行为的有效测量显然这些认识都是基于共同的内隐假设，即：研究机构可以通过分析单个的项目来测评和了解学生的参与度[4]实际上，未经理论证明的逻辑上的简单推论使得相关性在阐述的时候模糊不清试想，在一项调查中问到学生的身高和体重，然后通过测量获得学生的确切身高和体重值数据分析发现，学生倾向于将身高多报，体重少报，并且这些误差与性别密切相关：女性往往在报告中将体重减轻[5]此外，以心理学的研究为参照，正常人一次的记忆量应该在5-9个单句之间，这就要求调查问题在设计的时候要体现易理解、易采集数据、易开展实践、易实际推广等特点，并且能对高等教育研究的智慧结晶更好地凝练而实际上，NSSE存在许多因缺乏必要解释导致的模糊不湾的措辞总之，NSSE调查所涉及的领域描述太过宽泛，而且选定所涉及的问题更多受经验主义的驱动而缺少理论上的论证　　（二）对调查问题的分析　　NSSE的调查问题由学生参与度、重要的大学成果、大学教学质量直接相关的项目构成，依据以下三个一般性标准来选择调查项目：（1）这个项目在多大程度上与大学生的调查结果相联系？（2）这个项目对于未来的学生选择大学是否有帮助？（3）这个项目是否足够简单明了以至于一个外行读者无须过多分析就能轻易理解？就内容而言，NSSE是一个衡量学生行为和态度方面的有效手段吗？首先，这个定义域极其广泛，几乎任何有关学生的调查问题都可以被包含在内：“参与”，“学生成果”和“教学的质量”。

其次，诸如“使用电子邮件同导师联系”，是不清晰的从理论上讲，为什么频繁地使用电子邮件的学生，学校质量就高，或者同那些大部分学生不使用电子邮件同导师联系的学校相比，他们一定会有更好的学生成果？我们认为，如果学生能够在选择大学的过程中使用它们，或者这个结果能够被一个外行的读者解释，这些条目就应包含在内再者，这个标准没有被定义，也不清楚为什么这些项目会在试图衡量学生行为或制度质量时被用作标准总之，NSSE有一个过于宽泛的内容定义域并且缺乏理论基础来规定为什么特定的项目应包含在量表中　　（三）对问题反馈过程的分析　　任何调查效度的质疑中一个重要的部分就是反馈过程就调查而言，我们必须能够确定被试理解调查问题，这种理解对于被试而言是相对稳定的当面对一个问题时，调查对象必须了解每个术语和它们的引申义，以便他们在信息检索时能正确区分对于事实性问题，他们必须对主题进行记忆编码，以便能检索到这些记忆并把这些记忆附上日期然后，他们必须判断来自他们记忆中的信息的质量，并且对这些信息进行整合给出一个结果最后，他们必须在问卷的回答量表中精确地写出如果在这个过程中的任何环节出现问题，效度就会降低也就是说，只有当被试了解信息的时候，当问题表述得清楚明确的时候，当问题指的是最近活动的时候，大学生对自己行为的自我报告才可以被认为是准确的。

　　首先，从反馈过程的理解阶段看，对于大学生调查，研究者们一般没能考虑到这样一个问题，即大学生是否能理解我们使用的词和句子以及学生之间对这些词和句子的理解是否一致下面以2009年NSSE中摘录的问题为例说明：你多久一次和导师谈论测验分数和作业？多久一次和同学进行正式的交谈？对于第一个问题，首先关于谁是“导师”不同的学生就有不同的理解对于第二个问题，一个学生怎样区分一场“正式的”或是“随意的”交谈？当然，在NSSE中还有许多其他例子考虑到细节的缺乏，尤其是定义的缺乏，学生可能不是很理解调查问卷中的许多问题某种程度上，这些短小、模糊问题的形成很可能是研究者想通过减少调查的总长度来减少无应答倾向的努力但是最近的研究显示，不能将应答率作为衡量调查数据质量的标准[6]考虑到NSSE中问题的模糊性，很明显，许多调查对象不理解他们被问的问题是什么　　其次，从反馈过程的检索阶段看，大多数大学生调查认为在学生的大脑里存有我们所期望的关于他们行为和态度的准确信息事实真的如此吗？正如Schwarz指出，“理想的情况是，大多数研究人员希望被访者能浏览所有选项，检索所有与目标行为相匹配的实例，并且计算它们然而，这是调查对象最不可能采取的方式”[7]。

关于记忆的研究表明，记忆可能并不总是被编码；当他们被编码的时候，他们可能没有得到充分的检索；而且如果他们被检索，人们在为记忆设定日期方面也存在问题[8]此外，许多研究人员认为记忆作为一种层次结构，根据事件的特性，记忆被分组或存储在不同的层次中[9]以上相关研究表明，首先，回忆在一段时间后会逐渐变淡然而，许多大学生调查设计者忽略了这个重要的事实，并且在大学生离校调查中经常会问到涉及一个学年甚至是大学期间全部的学习经历的问题研究表明，即使是独特事件，大学生的回忆能力在仅仅几周后也会变得模糊[10]第二，独特的事件比惯常的事件和典型性的事件更易准确地被回忆起这种现象国外研究者在关于如何准确报告大学生性行为频率的研究中淋漓尽致地表现出来第三，除了关于记忆的基本问题如存储和检索，另一个主要的关注点是为记忆分配日期有研究表明，人在指定的日期回忆方面存在很大的困难，这种不确定性在报告特定时期内的活动时产生了问题，即产生时间误差而且，当被试能唤起更多回忆时，他们会不顾事件发生的真实频率而报告更高的频率[11]研究还表明，被试花费更多的时间尝试回忆信息，他们就能报告得更准确然而大多数的大学生调查经常使用简短、模糊的问题，从而导致学生未经充分回忆而迅速作答。

　　再次，从反馈过程的判断阶段看，研究表明，研究对象很少对事情进行记录，他们一般也不能回忆和计算每种行为来得出一个确切的结果在NSSE和其他学生调查中，学生不能对多数行为进行准确记录，特别是在询问涉及一整个学年中的行为的调查反而，学生会诉诸于多种多样的估计策略他们可能回忆起一点事情，基于这些小事情，估计出一个适中的比率或使用一般的印象去评估出一个答案假设学生可以准确地回忆和回答事件的频率，这可能是NSSE和其他大学生调查中最根本的理论缺陷此外，研究人员错误地认为，他们在大学生调查中所问的大多数问题都是一般性问题，实际并非如此此外，如果学生没有准确的信息，他们就会出于“乐于助人”的准则几乎都会给出一个答案，即使他们并不能确定答案的准确性所以他们在进行评估时，就会依靠许多线索，这些线索来自他们自身，他们的周围和调查本身他们同时还会基于自我想象推断：“我是一个好学生，并且我知道好学生会与教师接触，有正式的会谈，等等因此我做这些事情是在一个频繁的基础上这就是所谓“晕轮效应”，即回答个人问题时会部分受一。