大规模在线课程教学设计质量调查研究.docx

    大规模课程教学设计质量调查研究    唐环环+陈亚芳+徐晓雄+郝成龙+张细呈（宁波大学 教师教育学院，浙江 宁波 315211）摘 要：随着MOOC的发展，我国MOOC平台数量及其推出的课程日益增多，然而MOOC的课程质量如何，有待调查与考证本文以中国大学MOOC、学堂、好大学三大平台中的1000门课程为样本，采用随机抽样方法抽取的60门课程为调查对象，借用德国亚琛工业大学尤瑟夫等人的MOOC设计质量标准，并根据两两指标的重要性确定每项指标的权重，对每门课程进行评测分析，从而确定MOOC的课程教学设计质量研究结果表明，大量MOOC的教学设计质量偏低，尤其是在学习分析以及学习社交上的设计环节比较薄弱基于此，作者提出课程改进的有关建议：即完善课程教学设计、改善评价机制、优化用户界面、提供学习与社交工具、设计学习分析工具等关键词：大规模课程；教学设计；MOOC；评价：G434 文献标志码：B ：1673-8454（2017）06-0001-07一、引言随着MOOC的飞速发展，我国政府、高校、企业等纷纷加入到MOOC浪潮中，关注并且参与到MOOC的发展中从2013年10月起清华大学设立了“学堂”平台，上海交通大学的“好大学”以及网易和爱课程合作推出的中国大学MOOC也上线，吸引了无数的MOOC用户注册登录学习。

随后国内出现了很多的MOOC平台，同时MOOC课程的数量也在逐日增加MOOC资源的免费开放在一定程度上促进了教育的公平，给学习者带来了更好更多的学习机会和资源然而，由于MOOC的课程质量标准并没有一个严格的界定定义，导致很多MOOC课程质量堪忧的局面因此，本文通过考察国内MOOC教学设计的现状，较为客观的调查与评价其教学设计质量水平，以期为我国从事MOOC建设与教学的同仁提供一些值得借鉴和参考的意见二、相关研究国内外根据现有MOOC教学设计的研究来看，可以将现有研究分为教学原则、教学特点以及教学模式三种研究从教学原则来看，罗芳等学者从课程视频、随堂小测验、交流讨论3个方面总结了MOOC课程的特点，认为MOOC课程教学设计应遵循人本主义原则、行为主义原则以及建构主义原则[1]李曼丽从教育学、心理学的角度进行分析，认为MOOC的设计原则是人本化学习、掌握学习、建构主义学习、程序教学及有意义学习等理论的综合运用[2]Anoush Margaryan等人以梅瑞尔的五星教学法为指导原则以及专家反馈的附加原则，从以问题为中心、激活、展示、应用、综合、集体知识、合作、分化、真实资源以及反馈等十个原则对MOOC课程的教学质量进行了测量与分析[3]。

从教学特点来看，蔡成莲等学者从教学资源、教学活动与教学评价三个方面，提出了网络教育共享课程教学设计思路[4]李秋菊等学者针对教学视频设计的要点从界面设计、课程内容、教学设计三个方面对 xMOOCs 视频进行分析并且总结了 xMOOCs 教学视频的九个设计要点[5]从教学模式来看，王志军等学者指出教学目标与教学交互是网络课程设计的两大关键[6]郑勤华等学者为解决MOOC教学模式能否真正促进教育的变革这一问题，得出基于行为主义学习理论 xMOOCs 依旧是当前国内 MOOCs 的主导课程模式，现有 MOOCs 学习支持服务力度相对薄弱，教师参与是MOOCs整体交互水平提升的关键[7]孙洪涛等学者认为MOOCs的交互状况对课程质量有着重要影响，研究发现我国 MOOCs 课程教学交互水平总体偏低且严重不平衡，采用翻转课堂模式的教学交互状况较好，采用可汗学院式视频的课程比采用其他类型视频的交互水平更高； 提供丰富学习支持和评价认证方式的课程交互水平较高[8]任友群等学者针对目前MOOCs距离个性化学习还有多远的问题，认为要实现MOOCs的大规模和个性化统一，需要在优化学习资源设计、加强学习终端自适应内容建设、优化学习活动设计、完善学习评价制度和创新自适应平台系统等五个方面有所突破和创新[9]。

LE Stanley提出如何将教学模式应用于MOOC的设计与开发中的问题，借助5位有丰富的教学设计经验的博士，確定了具体的MOOC环境的教学设计问题，给教学设计人员提供了MOOC环境中应考虑的教学设计要素，包括提供学习者内容分析，理解学习管理系统的现有技术和局限性，以及教学设计师有必要进行教学设计方面的培训，从而更好地建立高效的课程教学设计[10]上述研究成果对国内外的MOOC建设与发展都起到了一定的推动作用本文基于此，采用德国亚琛工业大学尤瑟夫（Ahmed Mohamed Fahmy Yousef）[11]的MOOC教学设计质量标准对我国的MOOC课程进行评测，以分析和评价国内MOOC课程的教学设计质量问题三、研究方法与过程1.教学设计质量标准的选择以及指标权重确定德国的MOOC教学设计质量标准分为教学标准层面和技术评价层面两个维度，对教学标准和技术评价方面评价具体全面虽然该标准没有对学生的学习效果以及学习过程中的教学指导进行评价，但是由于该MOOC教学设计质量标准，着重于MOOC课程设计，能较为完整地体现教学设计的全过程，能做为课程教学设计质量的一个参照标准，本研究采用该质量标准作为检测课程教学设计的测量工具。

该教学设计指标有74个指标项，每一项的描述都很长，为了方便统计给每一个指标项进行简单的命名，例如教学设计层面下的课程组织下有9个指标，则课程组织中第一项指标是“在每节课程开始前明确设立目标”，将此指标命名为“课程组织1”，其他每项的指标命名都是如此由于国内MOOC的实际情况，几乎所有的MOOC课程都以中文进行授课，截止日期与日历都是采用北京时间，国内无法链接到 Facebook、Twitter 等社交工具；另外由于研究的局限性，无法获得关于“提供课程活动的数据”、“预测学生的表现”、“对学习数据进行分析并将其可视化”、“采用社交网络分析技术以识别与可视化学习者之间的关系”、“提供老师报告的选择”等一些后台的数据，因此去掉了这8项指标，剩下66项指标 （1）建立层次结构模型利用yaahp软件对教学设计的教学评价和技术评价的两个维度的重要性进行比较，再对二级指标的教学设计、考核层面、界面设计、视频内容、学习与社交工具以及学習分析进行重要性判定重要性的判定是根据约瑟夫（Ahmed Mohamed Fahmy Yousef）在文中的对每项指标重要性程度的平均数来判定，评判者是来98名教授与107名学习者，这些人来自不同的国家和文化背景，因此该数据具有可靠性。

由于建立层次结构模型中，有决策目标、中间层要素以及备选方案三层，指标备选方案中“电子考核”、“用户界面”、“视频内容”中有超过9个直接影响因素 ，但是可以直接进入判断矩阵继续执行因此根据解决办法采取在指标的重要性平均值差小于等于0.03的两项之间的重要性视为同等重要得出MOOC教学设计标准的层次结构模型2）采用教学设计指标，根据两个指标之间重要性的对比，建立判断矩阵该教学设计标准每项指标的重要性的判定，Yousef AMF等人曾对此进行调查，利用李克特量表由1代表不重要到5代表非常重要，参加此次调查的人员是曾参加一门或多门课程的107名学习者和98位至少教授了一门MOOC的教授，最终得出每个指标的重要性判定的平均数作为两两指标进行比较的依据由该指标体系建立了13个判断矩阵利用yaahp软件对教学设计的教学评价和技术评价的两个维度的重要性进行比较，根据1-9对此进行标度，如果两者同样重要，则标度为1，如表1再对二级指标的教学设计、考核层面、界面设计、视频内容、学习与社交工具以及学习分析进行重要性判定，最后对66个指标项进行逐一判定3）层次单排序及其一致性检验经过大量实证研究证实，yaahp 层次分析法软件具有较高的信度和效度，是一个比较先进和成熟的分析工具，经过该软件的运算得出最大特征值λmax、权重向量W和一致性比率CR，如表2。

从13个判断矩阵中，一致性检验指标CR都小于等于0.1，并且不小于0，就说明判断矩阵满足一致性检验，层次单排序的结果是可以接受的如果CR大于0.1，则判断矩阵不满足一致性检验，层次单排序的结果是不可接受的，就需要重新构建判断矩阵，直到满足一致性检验该教学设计标准每个维度中的指标权重，还进一步得出每个指标对总目标的权重由于MOOC教学设计评价的模糊性，因此本研究使用模糊综合评价法构建MOOC教学设计标准评价模型根据模糊综合评价法原理，首先构建MOOC教学设计评价模糊集合，根据表3，确定评价指标权重集Wi最后，设立各单一因素对各个评审等级的隶属度，对各个评价选择等级的隶属度赋予相应的分数，即100分、60分、30分和0分将该模型对每门课程进行评价，首先选择某平台的一门课程，利用AHP计算结果作为权向量，将模糊评价等级分别指定为100分、60分、30分和0分，形成MOOC教学设计质量问卷，由两名评测员进行打分课程评测分为两种情况，一种分为有与没有，有该指标项得100分，无法体现该指标项得0分，例如“提供测验 /考试报告，让学习者了解他们表现情况”，有测验或者考试报告得100分，没有测验或者考试报告得0分。

另外一种是根据程度高低来进行评分，0分表示该课程无法反映该指标项的内容；30分表示该指标在课程中有一定程度的体现但少于30%；60分表示该指标在课程中有较多程度的体现，反映在31%到60%；100分表示该指标在课程中很大程度上有所体现，反映在61%到100%例如“在每节课程开始前明确设立目标”，整个课程几乎没有课前目标得0分，有课前目标但是在整个课程中占比少于30%得30分，有课前目标但是在整个课程中占比在31%到60%之间得60分，课前目标大于60%则得100分为了保证评分的可靠性与一致性，两名评测员共同评价6门课程（三个平台中随机抽取分布两门），针对每项指标进行讨论，比较彼此的分数，对每项指标进行评分说明，对指标项理解有误的再仔细进行修改，一直对每个指标项达成一致意见，从而完善教学设计质量的评分说明根据子样本的6门课程中，评判一致性约是82%，基本上是66个指标中，有54个指标是达成一致的，其余的课程评价就两门评测员定期对该课程分数进行讨论审查，确保打分的一致性数据收集结束后，由教学设计专家规定时间，两名评测员对课程一起审查，向其他评测员解释自己评测分数的理由，最后得出可靠一致的得分。

2.数据来源研究数据考虑到样本的代表性，因此本研究选取了在我国MOOC建设影响度较高的三大平台为样本抽取的数据库，即中国大学MOOC、学堂和好大学其中中国大学MOOC课程总数是1289门课程，好大学课程总数是291门课程，学堂课程总数是1080门课程在2016年5月到2016年7月统计时间内，统计正在开课的课程中，学堂是538门课程，中国大学MOOC是316门课程，好大学课程是146门，共计1000门统计的课程基本信息包括课程平台，课程类别、课程名称、开设机构、主讲人、课程模式、共几周、每周几小时、开课时间、结束时间在统计的1000门课程中采取平台分层抽样方法抽取课程，随机抽取60门大规模开放课程进行分析，其中学堂课程33门（自助课程11门和随堂课程22），中国大学MOOC课程19门，好大学课程8门（随到随学1门和随堂课程7门）由于在课程评测阶段，有些课程已经结课，无法访问到课程的全部信息，为了保证平台课程以及学科类别的比例，则在该课程平台的相对应的类别中抽取一门替代的课程进行分析，最终的课程数据汇总在excel中汇总编码，然后用spss软件对此进行分析四、数据结果所有课程平均一堂课程开设10周，一周平均学习时长3个小时。

大部分MOOC的总体评价得分较低对于每一个评价分数可能的分数范围是0-100分，0分表示在。