高等教育质量评估参照比较方法之探讨

从本学科出发，应着重选对国民经济具有一定实用价值和理论意义的课题。课题具有先进性，便于研究生提出新见解，特别是博士生必须有创新性的成果高等教育质量评估参照比较方法之探讨一、引言高等教育评估向来是大学面临的最具挑战性的问题之一，其范围涉及大学的各个领域和层面，例如管理绩效、教育质量、学习成果、科研成效、资源分配效益、对地方经济文化发展所做出的贡献等。在这些众多的评估中，学习成果评估是核心，最重要，亦最复杂。美国高校常常把它定义为：通过运用科学方法收集和分析有关学生掌握知识和各种技能的信息，来评鉴学生是否达到了学校以及个人制定的预期教育目标，并促使大学合理使用评估结果提高教育质量的系联盟统复杂过程1。在学习成果评估中，以考试为绝对主导地位的评估方法已失去了昔日的光彩，取而代之的是多元化的评估方法。特别是针对学生学习过程以及社会实践能力所进行的考核已被视为评估不可或缺的组成部分，甚至在整个评估过程中占据了相当重要的地位。也正因如此，美国大学将评估定义为从数据收集、分析及其结果使用的一个过程。这种评估方法也被称之为“形成性评估”，是对学生知识和技能构建的进展过程进行评估，是以评估学生的学习行为和学习经验为核心234，评估范围常常涵盖学习的投入性、时间分配、各种实践技能的提高程度、课程知识的掌握程度等。形成性评估的目的是及时发现教育的优缺点，以及学生学习和个人发展中的薄弱环节，从而扬长避短，及时改进存在的问题，以提高教育效果，进而实现全面发展的教育目标。为了有效地践行“形成性评估”，教学和评估专家总结和提出了不同的评估工具，除了传统的考试方法外，普遍使用的工具包括“量规”、“作品档案夹”、“顶点课程”、“问卷调查”、“参照比较”以及“实习”。量规通常是以二维表格的形式呈现，是由评价指标、评价标准以及评价等级相结合组成的矩阵。矩阵的最左列包括评价内容，最上行是评价等级，评价内容和评价等级相交叉的部分是评价标准，最右边一列是每项指标的评价结果。“作品档案夹”是指将学生的作品收集起来像归档一样存放在一起，并通过对这些作品的评判来评估学生的学习进展情况。作品档案夹评估最大的优点是长效性，既反映了学生在不同时期的学习情况，又帮助教师和学生及时了解学习情况。另外，这种评估方法还有助于学生监测自己完成既定目标的进展情况。随着计算机的普及和网络技术的发展，“电子档案夹”在大学中愈来愈流行。这种档案夹不仅增强了作品储存的容量，而且为评估、检索、查询提供了许多快速敏捷的途径。“顶点课程”是为高年级学生开设的，旨在为学生提供一个整合、拓展、批判和应用在其学科领域和跨学科领域中所获得知识、技能的机会。课程教学以学生为中心、以学生为导向，要求学生通过课程设置的各种方式展示自己的专业课知识，而且要求学生展示在大学期间的整个学习就读经验，特别是各种技能。当然，为了评估学习成果的“形成过程”，“顶点课程”可以在学生完成大学教育的过程中分阶段开设，如在三年级第一学期开设，即可给学生提供一个自我检查和重新确定目标的机会。“实习”是指通过短期工作实践检验自己学习成果和技能的一种评估方法，可以是“结果性评估”，也可以是“形成性评估”。如果“实习”是发生在临近毕业，则是对大学教育结果的评估；如果“实习”是发生在大学学习期间，从“实习”中得到的与学习评估有关的信息，可以用来改进自己的学习行为，也可为专业或者大学层面提高教育质量提供有价值的信息。“参照比较”顾名思义是通过与相关指标比较所开展的一种绩效评估方法。“问卷调查”是通过收集学生自评信息来评价教育质量的方法，是目前美国大学层面教育质量评估工具中最为普遍的一种。本文的研究焦点为“参照比较”和“问卷调查”，并以美国研究型大学学生就读经验调研联盟为例，介绍其数据收集、整合和分享以及研究结果的应用，阐述利用调查数据构建教育质量参照指标和进行“参照比较”评估的运行机制，旨在为我国提高教育质量评估的效度和信度提供借鉴和参考。二、“参照比较”评估及其应用“参照比较”是质量评估中最常用的方法之一。它包括以相同领域最好的产品或者最佳服务为尺度而进行的一系列比较评估活动；它是发现和学习其他组织优秀经验和卓越绩效的一个持续性的过程；通过参照比较，一个组织可以更精准地认识自身的弱点，或者说与他人之间的差距，从而寻求改进方法，探索革新途径，监督进展程序，并评价取得的效益。“参照比较”是公认的测量质量改善进程和实施革新方案力度的最佳工具，在欧美许多国家以及澳大利亚等地区广为使用。欧洲专门制定了欧洲参照比较实施条例5。条例将参照比较定义为“从其他组织发现和学习好的实践经验的过程”。英国设有专门的社会公众参照比较服务机构6，并将“参照比较”定义为“与最好的实践者在绩效方面进行的常规性的比较，从而发现差距，寻求提高绩效的解决办法和实施途径，监视进展情况，评审效益。”美国质量学会将参照比较定义为，“一个组织通过与同类最好的组织进行比较评价其绩效，进而进行改革的程序。”“参照比较”的类型多种多样，Woodhouse将其归为五类7：内部参照比较：在同一个组织内部不同的部门之间的比较，以及同一个部门在不同时期的比较。公开信息参照比较：利用其他组织公开的信息进行比较。在这项比较中，不需要其他组织的同意，也不需要正式认可为“同伴”。这种参照比较通常是一种“低级别”的参照比较方法，可能会缺乏深度和广度。但如果对方是竞争对手，也许这是唯一的可以进行参照比较的方法，因为彼此的信息常常处于高度保密状态。同伴参照比较：选择具有共同特征的比较“同伴”，然后使用内部信息进行比较。参照比较可以是针对整个组织，也可以聚焦在某些方面或者功能上。普通参照比较：这是针对程序和实践过程所进行的参照比较，可以是跨领域、跨组织、跨部门之间的比较。最佳实践参照比较：选择自己认为是在同一领域中最好的组织进行参照比较。Trosa和Williams根据比较的内容，将参照比较分为三类8：标准参照比较：首先是制定可以实现的、且具有挑战性的绩效标准，然后根据标准对实施情况进行评估。具有挑战性的标准可以激励工作人员，展示提高服务质量的承诺。这种评估也可以被视为一种监督工具。结果参照比较：将自身取得的成果与类似的组织所取得的结果进行比较。在公立组织中，特别是在没有私立部门之间所存在的竞争压力的情况下，这种评估方法对提高效益有显著的推动作用。程序参照比较：对生产产品的程序或者管理程序进行仔细审核，并与同类程序进行比较的评估方法。这种方法有利于寻求导致绩效差异的原因，并提出切实可行的改进措施。参照比较评估方法在高等教育领域的应用已有相当长的历史，被公认为是一种合理的、基于寻因的、同伴认可的评估方法，可以用来评估大学各级学术层面的教育教学绩效，如专业、系、学院以及大学层面。作为一种形成性评估，参照比较评估有利于及时鉴定教育进展状况、发现问题、修订或者构建教育目标，进而评价学生达到期待学习成果的过程。用于进行参照比较评估的指标不仅可以为内部自查提供标准，也为外部评审提供参考。例如，大学和专业认证部门在认证时就常常利用参照比较来评价大学是否达到了相应的标准。不管是内部评价，还是外部评审，参照指标发挥多种功能：评价大学在地方或者全国性的声誉，评价实现办学目标的程度，衡量取得教学成果的情况，等等9 10。参照比较对大学改进绩效有潜在的推动作用11：为质量提高提供了系统的、持续性的依据；明确了需要改进的幅度；将外部关注的问题融入内部活动中；激励利用已有的具有借鉴性的经验；发掘新的、具有创新性的理念和措施；激励大学进行改革，并提供改革构思；将“最好的实践经验”融入到大学质量改进实践活动中；利用数据，降低决策过程中主观见解的影响；帮助营造组织的“学习”氛围；提高交流力度。参照比较评估方法在澳大利亚和美国的大学使用非常广泛。澳大利亚高等教育和质量标准署对参照比较有明确的要求和界定。在澳大利亚大学开发的众多的监控和改进教育教学质量战略和方法中，参照比较是最流行的一种12。许多澳大利亚的大学将参照比较作为监控大学发展绩效与目标的重要手段。在美国，这种方法已被广泛地应用在国家性的教育发展评估报告、大学“问责”报告以及区域性或者同类大学的评估活动中。表1简单介绍了美国部分高等教育参照比较评估体系。从XX年到XX年，美国公共政策和高等教育国家中心每两年颁发的“高等教育国家评鉴报告卡”提供了以州为基本单位的高等教育参照比较指标体系13。体系涵盖六项参照比较内容：大学准备、大学升学、支付能力、学业完成、高等教育效益以及学业成果。大学学习评估是以“增值”评估为基础的参照比较体系，目前已有500多所大学参加。美国大学“国家社区学院参照指标项目”为社区学院提供了一个数据系统平台14。这个平台是集全国性社区学院数据收集和报告为一体的数据系统。它为社区学院就学习成果及绩效评价方面进行比较提供了有效的途径，包括关键性的学习成果评估和大学绩效指标，以及与全国性的“常模”和部分“同伴”大学的比较数据。参照指标的范围包括学生学业表现、学习成果、学生满意度和学习投入性、职业准备、以及学院组织绩效。显而易见，数据是制定参照指标的首要条件，也是实施参照比较的基础。美国高等教育质量参照比较评估中最常用的数据是大学管理数据，如学生的课程成绩、学生保留率、毕业率等。但从本世纪初开始，就读经验调查数据已经被广泛应用于构建大学教学质量评估的参照指标，并应用在大学教育质量参照比较评估中。除了上面提到的美国“国家社区学院参照指标项目”中的学生满意度和学习投入性的参照指标是以调查数据为基础外，在其他众多的调查问卷中，NSSE最为有名。从XX年起，NSSE管理部门就利用收集到的数据构建学生就读经验评估参照指标15。参照指标体系包括四个方面的内容：学术挑战、学习积极性和合作性、学生教师的互动、丰富教育经验、校园学习支撑环境。在研究性大学就读经验参照指标建设中，新近成立的以加州大学调查项目为基础的“研究型大学学生就读经验调研联盟”发展迅速，并已取得良好成效。三、SERU联盟及其参照比较评估体系1. 联盟运行机制研究型大学学生就读经验调研联盟由加州大学伯克利高等教育研究中心倡议和组建。它是在加州大学学生就读经验调研活动的基础上于XX年成立的。加州大学学生就读经验调研项目的实施可以追溯到1999年。当时，快速发展的教育技术为学生调查提供了前所未有的技术支持，学生调查问卷的研发在美国掀起了高潮，譬如“学生入校调查”、“学习过程调查”、“学生离校调查”和“知识输出调查”等。其中对学生的就读经历、行为活动和校园评价等“学习过程”进行的调查代表了当时的问卷设计的主要理念和思路。例如，XX年起实施的NSSE就是最具代表性的调研项目之一。另外，加州大学伯克利高等教育研究中心的高级研究员John Douglass发现，世纪之交，在面临入学人数剧增和财务困境的挑战下，加州大学需要更多的关于学生就读经验的信息，为保障和提高本科教育质量的决策服务。自XX年起，在加州大学校长办公室的支持下，John Douglass和加州大学众多学者共同努力开发了具有综合性且反映研究型大学教育特征的调查问卷，称之为“研究型大学学生就读经验调查问卷”。XX年，问卷首次在伯克利测试成功；从XX年起，加州大学的所有9所本科分校先后加入每两年一次的调研活动。从XX年开始，伯克利中心将这一研究型大学的调研活动拓展至美国其他研究型大学，并正式成立联盟。联盟组织的基本结构是会员制，日常活动的协调和管理由伯克利负责，但具体的活动实施和相关决策则由会员商定，如调查问卷的修订、数据分享范围等。成员大学缴纳用于数据收集和联盟运行的年费。XX年开始，联盟吸收非美国大学加入，成立了研究型大学学生就读经验调研国际联盟。截至XX年2月，加入联盟的大学共有34所，包括23所美国大学，如加州大学伯克利、密西根大学-安娜堡等