MOOC质量评价体系的构建探究.docx

    MOOC质量评价体系的构建探究    童小素　贾小军【Summary】随着信息技术的快速发展，MOOC已融入了新的网络应用元素，原有网络课程评价的部分标准已显得陈旧，无法充分反映大数据时代MOOC的特点虽然同内外已有不少学者从不同角度对此展开研究并提出了相应的评价体系，但国内目前还没有形成比较权威且系统的MOOC质量评价体系在借鉴已有网络课程和网络资源评价规范的基础上，采用文献调研法和专家访谈法，并以我同教育部教育信息化标准委员会制定的《网络课程评价规范（CELTS-22）》为蓝本，探索性地建立了包含3个一级指标（课程内容、教学设计、学习支持）和26个二级指标的MOOC质量评价指标体系，并利用层次分析法确立了指标的权重同时，在国内三大MOOC平台上各选取一门课程，利用评价体系进行了评价实践实践表明其具有较强的可操作性，可以有效评判MOOC建设的优劣，在一定程度上丰富了MOOC质量评价的理论体系，对MOOC的规范建设和可持续发展提供了有益的指导Key】MOOC；质量评价；评价体系；层次分析法G40-058.1 A 1009-458 x（2017）05-0063-09近年来，大规模开放课程（MOOC）作为一种新兴的教育模式受到广泛的关注，国内外掀起了一阵MOOC建设的浪潮。

2012年被《纽约时报》称为“MOOC年”，而2013年是MOOC本土化的元年截至2015年，在欧洲包括英国、德国、西班牙等31个国家在内的311所大学开设了MOOC（OpenEducation Europa，2015）；在中国，自2013年年初起，网易与高教社（中国大学MOOC）、清华大学（学堂）、北京大学（华文MOOC）和上海交通大学（好大学）等纷纷加入MOOC建设的行列目前，MOOC学院收集了Coursera、edX、Udacity、中国大学MOOC、学堂等平台共5，000多门中英文课程，中国大学MOOC和学堂平台上各有上千门中文课程，涵盖了各个学科同时，随着时间的推移课程数量还在不停增长，选课学习的人数也在不断增长然而，琳琅满目的MOOC，如何评估其好坏？如何使学习者轻松地获取高质量的资源？如何规范MOOC的建设？这些问题促使MOOC质量的评价成为一项十分有实践意义的研究一、研究现状在MOOC建设的浪潮中，高参与率与低结课率使得MOOC的教育质量及评价问题受到了国内外学者的关注，形成了一些从不同角度出发的评价体系，大致可以分为四类：MOOC平台角度、MOOC传播效果角度、MOOC实践性的角度和将原有课程的评价规范迁移到MOOC领域的角度。

从MOOC平台角度出发构建的评价体系，比较典型的研究成果有：①韩锡斌等（2014）基于Edu-tools编制的网络教学平台评价标准，将MOOC平台和国内外典型网络教学平台进行对比分析，对Edu-tools评价体系的系统技术特征进行了补充调整和优化②刘和海等（2016）以Edutools评价体系为基础，通过MOOC平台与传统网络教学平台的对比优化评价指标，依据优化后的指标体系，全面调研了我国学堂等六大MOOC平台，并进行了全面的对比分析，从宏观、中观、微观三个层面提出了优化策略从MOOC传播效果角度出发的评价体系，比较典型的研究成果有：①马瑞等（2015）通过文献和个案分析确立指标模型，通过专家访谈构建了4个一级维度（资源、课程团队、学习用户、环境）、8个二级维度和32个指标项的MOOC传播效果评价指标体系②其他传播学角度的MOOC研究，虽没有形成完整的评价体系，但对MOOC传播过程中的重要要素进行了讨论分析李昕桐（2014）依据担任北大MOOC“民俗学”助教的经验，提出了助教这个“中间人”在MOOC传播中的重要性；张辰（2013）分析了SNS社交网络对MOOC传播的影响；Kop等（2011）通过分析学习者和教学者之间的学情数据，指出双方的联系在MOOC传播中起到重要的作用。

从MOOC实践性的角度构建的评价体系，比较典型的研究成果有：①冯雪松等（2015）基于北京大学MOOC实践，提出了一种面向课程改进的MOOC评价体系，分为量化因素（课程内容建设及课程实施）及定性描述（内容的组织、内容的呈现、讲授方法及课程的执行与推广）两大部分②Margaryan等（2015）对76门已经開放的MOOC采用Merrill的首要教学原理的指标分析其教学质量从原有课程的评价规范迁移到MOOC领域的角度构建的评价体系，比较典型的研究成果有：①李青等（2015）通过对国内外八个权威课程评价指标的分析，归纳出一般课程的质量因子，并以美国《课程质量量规》（Quality Matters Rubric）为蓝本构建MOOC质量模型②西班牙学者费尔南德斯等人（Ferndndez，et al.，2015）对两种学习质量评价方法ADECUR和UNE 66181：2012进行比较分析，建立了一套从四个维度（教学内容、教学法、可访问性、虚拟学习环境）评价MOOC质量的评价体系③德国亚深工业大学约瑟夫等（Yousef，et al，2014）对课程、远程教育等与MOOC相关文献进行分析后，构建了一套MOOC设计质量保障标准，包含教学和技术两个维度75个评价指标项。

④罗斯维尔等（Rosewell，et al，2014）从机构层面和课程层面两个维度建立了适用于开放大学的MOOC质量评价标准，其核心内容源于学习和开放教育的质量评价基准E-xcellence从以上分析可以看出，国内外已有不少学者对MOOC质量的评价展开研究并提出了相应的评价体系，但研究出发的角度和关注的重点不同，所形成的评价框架很不一致，目前国内还没有形成比较权威且系统的MOOC质量评价体系本文也是从将原有课程的评价规范迁移到MOOC领域的角度来构建评价体系在借鉴已有网络课程和网络资源评价规范的基础上，采用文献调研法和专家访谈法，并以我国教育部教育信息化标准委员会制定的《网络课程评价规范（CELTS-22）》为蓝本，结合大数据时代MOOC学习的特点，构建一套面向MOOC质量评价的指标体系，以进一步推动优质MOOC的开发与运营 二、MOOC的特征MOOC是通过开放教育资源与学习服务而形成的一种新型教育模式，允许全球有学习需求的人通过互联网学习，通过网络实施教学全过程（McAuley，et al，2010）MOOC不仅是教育技术的革新，更是一种全新的学习方式与教育模式，具有以下四方面的特征：（一）规模大MOOC规模大的特征主要体现在海量参与、海量交互和海量学习数据三个方面（王永固，等，2014）。

海量参与主要体现在参与的人数众多，参与的学习者层次差异大，有高中生、大学生，也有职员等，学习目的也各不相同为应对海量学习者间的巨大差异性，建设MOOC必须提供详细的课程说明与学习要求，列举出课程学习过程中常见问题的解决办法，使学习者能更好地参与其中；提供不同层次的学习补充材料和多种访问路径，以满足不同认知偏好和学识水平的学习者海量交互是指海量学习者和学习内容间的交互，还包括教师和学习者、学习者和学习者之间的交互应对海量交互，建设MOOC时需要提供丰富的交互工具，提供充分的交互机会，从而引发学习者对学习内容的深入思考海量参与和交互使得课程产生了海量的学习数据，这就要求MOOC平台具有学习分析功能，去发现课程学习的特征和规律以及学习者潜在的问题，从而优化学习者的学习二）开放性MOOC的开放性是指面向全球的学习者免费开放，课程空间中的课程大纲、课程资料、视频、测试题等无须付费即可访问，学习者能够无障碍地访问课程资源，自由获取信息和知识应对开放性，MOOC开发时需要考虑各种媒体在各种设备上呈现的兼容性，考虑不同国籍学习者文化背景的差异性三）MOOC学习的随时随地性MOOC学习不受时间、空间等条件的限制，学习内容、学习方法以及学习计划等由学习者自主决定，多以移动学习和碎片化学习为主。

这一特点决定了MOOC开发必须考虑以小视频（5～10分钟）加小测验等形式组织课程内容四）MOOC学习的个性化MOOC学习者学习的需求多种多样，既有对学习活动的个性化需求，也有对各种学习主题的需求，还有对媒体呈现形式的需求等這一特点决定了MOOC开发时，需要基于教育大数据的学习分析技术的应用，通过对学习者学习过程的追踪记录以及对数据记录的分析，量化学习者的学习，从而定制出不同于他人的学习策略和学习方法，为学习者推送其感兴趣的课程与内容，促使学习更加有效学习内容应可根据学习者各种个性化、动态的学习需求进行知识结构的调整和内容的完善，实现内容的再生三、MOOC质量评价指标体系的构建从本质上说，MOOC仍是一种网络课程，鉴于网络课程质量的相关研究已比较成熟，所以，现有的网络课程和网络资源的评价标准都可以作为MOOC评价的重要参考本研究采用文献调研法和专家访谈法构建MOOC质量的评价指标我国教育部教育信息化技术标准委员会（2012）起草的《网络课程评价规范（CELTS-22）》，是国内使用广泛的E-learning内容设计开发参考依据和网络课程质量模型因此，本研究以此量规为蓝本，结合MOOC的特征，对其加以适当增删和补充优化来构造MOOC质量的评价体系。

一）专家访谈方案设计1.专家的选择专家的选择是影响研究结果的关键因素之一本研究主要根据专家的专业背景和当下所从事的研究领域是否为MOOC来选取，选取了浙江大学、杭州师范大学、华东师范大学等学校的11名专家其中，5名专家为教育技术领域从事数字化学习资源研究和网络课程开发的教授，其余6名专家为本项目开发组的成员这11名专家当前的研究重心为MOOC，他们中有的人已经在中国大学MOOC平台、智慧树等平台开设了课程，有的人正在参与，对MOOC的建设有较为全面、系统且独到的见解2.设计第一轮问卷调查表问卷的第一部分首先对制定指标体系的背景作简要说明第二部分是对MOOC质量评价指标咨询表中各级维度、评价参照标准作详细说明，给专家以明确的使用指导专家可在表中自行添加、删除或修改指标，并对确立的指标进行相对重要性排名3.设计第二轮问卷调查表收回第一轮咨询表，进行统计处理，并设计发放第二轮咨询表第二轮咨询表主要涉及第一轮问卷中专家的修改意见汇总、每个指标的重要性排名均值和标准偏差，咨询专家是否同意修改和确立本次指标的重要性排名每一位专家参考第一轮的统计结果进行第二次评估，如不能达成一致，需要进行多次评估咨询几轮后，专家意见逐渐趋于一致，经过统计归一处理，最终确定MOOC质量的评价指标及其重要性排名。

二）评价指标设计CELTS-22评价规范从四个基本维度（“课程内容”“教学设计”“界面设计”“技术”）来评价网络课程的质量，包括21条“必需”指标和15条“建议”指标同时，笔者通过对课程、网络课程、E-Learning课件、资源库评价、移动学习App等方面的学术文献和一些国外机构制定的《课程评价标准》[Ouafity On The Line（朱凌云，等，2002a）、E-Learning Certification Standards（朱凌云，等，2002b）、ASTD E-Learning课件认证标准（ASTD，2002）、GEM网络教学资源评价标准（段崇江，等，2002）、ADL网络教学的设计与评价指南（ADL，2001）、OpenECBCheck Quality Criteria-2012（EFQUEL，2012）、Certification System of e-Learning Quality in Taiwan-2013（eLQCC，2013）]进行详细分析，发现在评价指标体系中一般都有反映课程内容的评价指标；课程/教学设计指标在评价指标体系中出现的频率最高；资源的可用易用性。