
增值评价与高等教育质量保障研究:理论与方法述评.docx
10页增值评价与高等教育质量保障研究理论与方法述评 摘要:增值评价作为一种发展性评价方法,是国内外高等教育研究领域的热点和难点本文选择有代表性的部分研究,从理论基础和研究方法两个角度进行梳理与简要评论研究发现,心理学视域下的大学生发展理论为增值评价提供了扎实的理论基础学生的学习成果是增值评价的关键指标,如何界定将直接影响评价结果自陈式量表与标准化测试是增值评价数据获得的主要途径,在当前美国高教评估界,这两种途径可以说势均力敌,各有千秋增值评价结果受统计模型变化的影响较大,其中,多水平分析模型在诸多统计分析方法中具有一定优势最后,本文尝试提出突破方法,从而提高增值评价应用于高等教育质量评估的可行性 关键词:增值评价,质量保障,高等教育,学生发展 增值评价作为一种发展性评价方法,目前主要运用于基础教育阶段的学校效能评估、学生学业成绩测评等方面相较于基础教育阶段,高等教育属于专业教育,大学生的身心发展也更加多元、复杂,增值评价在高等教育领域内的应用目前还比较有限在当前全球高等教育质量保障的普遍诉求背景下,如何科学评价高等教育机构自身的效率和效力,特别是如何评估高等院校之于学生的影响力,如何精确测量大学四年学生各方面发展状况及其增值幅度,成为国内外高等教育研究领域的热点和难点。
在此背景下,国内外已有一些研究涉及增值评价与高等教育质量保障问题,探讨增值评价在高等教育质量评估方面的适用性及前景,本文从理论基础和研究方法两个方面对此进行了梳理和探讨 一、增值评价与高等教育质量保障:理论基础 1.高等教育中的增值评价 在高等教育情境下,所谓“增值”是指大学教育对学生学业成就以及毕业后的工作、生活所带来的积极影响,而增值评价即是对这种影响程度的测量由于大学生毕业后工作、生活等方面的数据难于获得,目前增值评价主要运用于大学生在校期间学习成果评估及其各方面发展状况的监测从经济学角度来看,增值评价属于教育生产函数范畴,通过监测大学生学习成果及其增值幅度,将大学对学生发展的影响从其他诸多因素中分离出来,评估大学之于学生的影响力,从而最终考量高等教育机构的内部效率和效力增值评价的结果有助于深入解释高校对学生发展的影响机制,为改进高等教育质量提供依据 2.增值评价的理论基础 增值评价同时关注大学生学习的起点、过程与结果,其所体现的过程性、发展性评价理念,本质上来源于人的发展理论,而20世纪60年代以来兴起于美国心理学界的大学生发展理论是人的发展理论在高等教育情境下的运用,它为增值评价在高等教育领域的应用奠定了坚实的理论基础。
20世纪60年代,在心理学领域形成的大学生发展理论体系本质上是人的发展理论在高等教育情境下的运用,其基本目标是解释大学生在四年的学习生活中,怎样发展成为了解自我、他人及世界的成熟个体的过程在大学生发展理论集群中,最具代表性的流派包括个体与环境互动理论、认知结构理论、社会心理与认同发展理论、类型理论、整合型理论,这些理论分别论及了大学生在四年的学习生活中,个体与校园环境的关系,个体所经历的认知、情感、能力与认同等方面的发展,学生群体间的人格类型差异,大学在学生发展过程中的介入作用等问题大学生发展理论对学生发展过程、结果及其影响因素的深入探讨,使其成为高等教育情境下增值评价的理论基础 在上述代表性的大学生发展理论流派中,个体与环境互动论是基础性理论,为其他流派的学生发展理论研究奠定基础该理论强调学生个体与大学环境的相互作用,重点解释大学校园环境如何影响学生各方面的发展个体与环境互动论最重要的代表人物是阿斯汀,他在数十年大规模追踪调查及对动态数据的持续研究基础上,于20世纪70年代末、80年代初提出了著名的学生参与理论(student involvement theory)该理论认为,大学生在有意义的活动中投入的时间和精力越多,他们从大学经历中所得到的收获就越大。
学生参与的形式丰富多样,既包括学术参与,也包括课外活动参与以及人际互动;同样,学生发展的内涵也十分广泛,既包括认知发展,也包括道德情感以及能力人格的发展学生参与理论自创立以来,引发了后续海量研究和讨论,其原因在于它所蕴含的独特性和重要性,相较于其他的学生发展理论,学生参与理论更为关注学生发展的过程而不是结果,视学生投入的时间精力为大学重要的财富和资源学生参与理论中所包含的“参与”、“过程”、“全人发展”等思想内核对增值评价理念与方法的完善,以及增值评价在高等教育中的应用均产生深刻影响 二、增值评价与高等教育质量保障:实证方法 1.适合于增值评价的数据如何获得? (1)关键指标的度量在高等教育情境下,学生的学习成果(student learning outcomes)是增值评价的关键指标,如何界定和度量将直接影响评价结果皮特尤厄尔(Peter T. Ewell)认为大学生学习成果是指学生参与一系列学习体验后,在知识、技能、能力等方面的收获,根据不同的标准,可以将学生学习成果分为认知、非认知的,心理、行为的,在校期间、大学毕业后的成果学生学习成果的概念界定是广义的、宽泛的,但在具体度量时,则是狭义的、具体的,例如,在美国以及OECD的高教评估中,对学习成果的度量主要采用“核心认知能力”或“一般技能”,主要包括书面交流能力、逻辑推理能力以及批判思维能力,其目的不仅在于考察大学生四年就读期间核心能力的发展状况及其增值幅度,还在于增值评价的结果可以进行跨校、跨地区、跨文化的比较。
当然,随着人们对大学生学习成果概念的理解不断加深,在具有通识性、一般性的“核心认知能力”之外,不同学科学生的专业技能,以及诸如情感、态度、人格等非认知层面的学习成果,也将逐步纳入增值评价关键指标度量的范畴 (2)数据获得途径大学生学习成果的数据信息主要来自于以下三个渠道:标准化测试、自陈式量表、课业考试成绩(College Grades),其中标准化测试与自陈式量表是增值评价数据获得的最主要途径,在当前美国高教评估界,这两种途径可以说势均力敌,各有千秋 标准化测试通过直接、客观、标准化地测量大学生核心认知能力,实现对大学生学习成果的增值评价为解决高等教育评估中的重投入轻产出以及可比较的教育成果严重缺乏等问题,2006年,美国成立“自愿问责系统”(Voluntary System of Accountability,简称VSA),该系统主要目的是测量“核心教育成果”,促进公众对高等教育机构运转的理解VSA中用于评估大学生学习成果的标准化测试主要由美国教育考试服务中心等专业考试机构开发,代表性的测试包括:《ETS学术熟练程度测评》(ETS Proficiency Profile,简称EPP)、《大学学习评估》(The Collegiate Learning Assessment,简称CLA)、《大学生学术熟练程度评估》(Collegiate Assessment of Academic Proficiency,简称CAAP)、《大学生学术熟练度与进步测量》(Measure of Academic Proficiency and Progress,简称MAPP)、《基础学科测试》(Basic Academic Subjects Examination,简称BASE)等。
这些标准化测试主要测量大学生的核心认知能力,包括书面交流能力、逻辑推理能力以及批判思维能力,其目的是考察大学生四年就读期间核心能力的发展状况及其增值幅度,从而评价高等院校之于学生的影响力VSA建议高校可根据各自情况,从以上多种测试中任选一种来收集本校学生学习成果的数据信息,从而进行增值评价借鉴美国经验,国际组织如OECD也开发出相关的标准化测试,用于大学生学习成果的增值评价,如《高等教育学习成果评估》(Assessment of Higher Education Learning Outcomes,简称AHELO),主要测试大学生的一般技能,测试结果期望可以在成员国之间进行跨文化的比较;除了一般的通用性技能,AHELO还致力于测试不同学科学生的专业技能,如分专业测试经济学和工程学专业学生学习成果 自陈式量表通过自我报告型问卷调查,由学生自陈课内外学习、活动的参与情况,以及自我感受到的个体发展和收获情况,间接地实现对大学生学习过程和结果的增值评价在当前美国高教评估界,比较有代表性的自陈式量表包括:《CIRP新生调查》(CIRP Freshman Survey,简称CIRP-FS)、《CIRP大四学生调查》(CIRP College Senior Survey,简称CIRP—CSS)、《大学生就读经验调查》(The College Student Experiences Questionnaire,简称CSEQ)、《全美大学生参与度调查》(National Survey of Student Engagement,简称NSSE)、《加州大学本科生就读经验调查》(University of California Undergraduate Experience Survey,简称UCUES)等。
这些自陈式量表的设计理念根源于大学生发展理论,学生的背景特征、院校组织特征、学生参与经历、学生的发展和收获是这些量表频频涉及的内容 在获取增值评价所需的学习成果数据方面,标准化测试与自陈式量表各有其优势和弊端通过标准化测试所得数据能直接反映大学生的核心认知能力及其增值,测试成绩客观,数据易于收集和统计,具有较高的信度和效度而标准化测试的弊端则主要体现在以下三个方面:首先,这些测试主要测量学生核心认知能力,未能涉及诸如情感、态度、人格等非认知层面的学习成果其次,这些测试测量的是学生一般的认知能力,而高等教育是专业教育,标准化测试未能体现不同专业学生学习成果的异质性再次,由于标准化测试是由学生以及学校自愿参加,学生参加测试的动机高低会影响测试效度相对于标准化测试,通过自陈式量表所得数据能更加丰富地反映大学生课内外学习、活动的参与情况,以及学生主观感受、态度等方面,且施测较为简单,但前提是被调查者最了解自己并能如实报告自身情况,因此自陈式量表的主要缺点是测量效度不易建立 就高等教育管理实践而言,标准化测试与自陈式量表各具不同的政策指导取向标准化测试侧重考察学生学习结果,尤其是核心认知能力的增值情况,这类数据对改进教师的教学过程以及学生的学习过程有重要意义,且有助于在不同学校之间比较学生学习成果的差异,探求差异背后的院校层面影响因素。
自陈式量表侧重调查学生的学习过程、经历以及感受,对改进高校教学管理有重要意义 标准化测试与自陈式量表各有千秋,其政策指导意义也有所不同,研究者应扬长避短,充分利用这两种途径获取数据,深入分析大学生学习成果增值及其影响因素在高等教育实践中,管理者应充分掌握这两类数据,客观、全面地了解学生学习过程与结果,为高校人才培养制定科学决策 2.如何对数据进行分析? 通过标准化测试与自陈式量表获得相关数据后,国内外学者主要运用分数差值法、多元线性回归模型以及多水平分析模型(Hierarchical Linear Model,简称HLM)这三种方法对数据进行统计分析,从而最终实现对大学生学习过程和结果的增值评价 首先,分数差值法如前所述,所谓“增值”是指大学教育对学生学业成就所带来的积极影响在实证研究层面,“增值”体现在横向研究中不同年级学生群体间的差异,以及纵向研究中同一批学生前测、后测结果的差异,分数差值法常使用关键指标,如大学生学习成果的平均数变化效应值(Effect Size)和方差来表示增值的幅度大小及其变异程度分数差值法常用于标准化测试数据的分析,操作简易,但很难从数据背后找到大学生学习成果增。
