《Spark数据计算》课程标准.doc

《Spark数据计算》课程标准1.课程说明《Spark数据计算》课程标准课程编码〔38434〕 承担单位〔计算机信息学院〕制定〔〕 制定日期〔2022年11月16日〕审核〔专业指导委员会〕 审核日期〔2022年11月20日〕批准〔二级学院（部）院长〕 批准日期〔2022年11月28日〕（1）课程性质：《Spark数据计算》大数据技术与应用专业的专业必修课，Spark是一种快速、通用、可扩展的大数据分析引擎，是基于Scala语言的一种大数据计算框架，主要用于数据分析领域以及数据科学家负责分析数据并建模Spark适用于各种各样原先需要多种不同的分布式平台的场景，包括批处理、迭代算法、交互式查询、流处理通过在一个统一的框架下支持这些不同的计算，Spark使我们可以简单而低耗地把各种处理流程整合在一起而这样的组合，在实际的数据分析过程中是很有意义的不仅如此，Spark的这种特性还大大减轻了原先需要对各种平台分别管理的负担2）课程任务：本课程以Scala语言为主，具备SQL、统计、预测建模(机器学习)等方面的经验，以及具有一定的使用Python、和Matlab的能力，通过理实一体化的学习途径，帮助学生快速掌握Spark的特点以及用途。

3）课程衔接：《Spark数据计算》的先修课程为《大数据应用技术基础》、《概率论与数理统计》、《Python基础》和《网络数据库》，上述内容建议作为前续课程开设，可为学生奠定必要的知识和能力基础，以便有效学习本课程内容2.学习目标通过本门课程的学习，使学生知道Spark的概念，了解Spark的特点和用途，掌握Spark集群的安装以及如何执行Spark程序；理解并掌握Sparkcore的应用以及它的内核解析和调优解析；知道SparkSQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用1）知识目标Ø知道《Spark数据计算》这门课程的性质、地位和作用以及用途；Ø掌握Spark集群的安装以及如何执行Spark程序；Ø理解并掌握Sparkcore的应用以及它的内核解析和调优解析；Ø掌握SparkSQL的DataFrame接口支持多种数据源的操作；Ø理解Spark调优的基本原则2）能力目标力求在简洁的基础上使学生能从整体上了解和掌握Saprk数据计算的数据分析和计算框架，培养学生自学能力以及获取计算机新知识、新技术的能力，使学生能够在实际工作中、后续学科的学习能灵活、自如地应用数据可视化技术。

3）素质目标Ø培养对新知识、新技能的学习能力与创新能力；Ø锻炼学生的自学能力、理解能力和表达能力；Ø培养学生具有团队合作的精神；Ø培养学生善于沟通、团结协作、以人为善的处事能力；Ø引导学生树立科学的世界观，激发学生的求知热情、探索精神、创新欲望以及敢于向旧观念挑战的精神3.课程设计本课程根据能力培养目标的要求，确定学习目标及学习任务内容；具体的学习内容和学时分配如表1表1学习领域的内容与学时分配学习单元名称学习内容实践学时理论学时合计学时单元1：Scala语言1.1Scala安装与配置21221.2Scala基础211.3控制结构和函数211.4数据结构211.5模式匹配421.6高阶函数22单元2：Spark基础解析2.1Spark概述0182.2Spark集群安装222.3执行Spark程序21单元3：SparkCore应该解析3.1RDD概念01163.2RDD编程213.3键值对RDD213.4数据的读取与保存主要方式213.5RDD编程进阶213.6SparkCore实例练习21单元4：SparkSQL数据源4.1SparkSQL概述01144.2执行SparkSQL查询214.3SparkSQL解析204.4SparkSQL数据源204.5JDBC/ODBC服务器114.6运行SparkSQLCLI214.7SparkSQL的运行原理01单元5：SparkStreaming应用解析5.1SparkStreaming概述01165.2运行SparkStreaming225.3架构与抽象215.4SparkStreaming解析225.5高级解析22单元6：SparkGraphX应用解析6.1SparkGraphX概述01126.2SparkGraphX解析216.3图算法44单元7：Spark内核解析7.1Spark整体概述01327.2脚本解析227.3Spark通信结构227.4Master节点启动227.5Work节点启动227.6Client启动流程227.7Driver和DriverRunner227.8SparkContext解析227.9Job提交和Task的拆分214.教学设计指对某一个具体学习情境的实施设计。

根据课程目标和涵盖的工作任务要求，按学习领域（或任务或工作项目等）顺序描述课程内容及具体要求，说明学生获得的知识、培养的能力与素质表2学习单元设计学习单元Scala语言学时22学习目标能力目标知识目标素质目标1．通过本单元的学习使学生掌握Scala语言并会应用该语言解决Spark数据计算；2．提高学生运用所学知识的能力1.了解Scala语言；2.会Scala的安装与配置；3.掌握Scala基础；4.理解控制结构和函数；5.理解并会应用数组和元组；6.掌握Scala语言的模式匹配；7．理解并会用高阶函数1.通过本单元内容的学习帮助学生树立良好的时间观念；2.通过本单元学习提高学生职业道德和职业素养学习内容内容名称主要知识点Scala语言1.Scala语言概述；2.Scala安装与配置；3.Scala基础；4.控制结构和函数；5.数组和元组；6.Scala语言的模式匹配；7.高阶函数教学方法设计课堂教学以合作学习为主、分小组讨论为主，借助多媒体声像演示；上机试验是本课程的重要教学环节，通过上机动手操作使理论应用于实践中学习单元Spark基础学时8学习目标能力目标知识目标素质目标1.通过本单元的学习培养学生的实际动手能力和独立思考的能力；2.通过本单元内容的学习能够利用所学知识完成后继课程的学习。

1.了解Spark的特点和用户以及用途；2.会Spark集群安装；3.掌握Spark的程序运行及应用提交；4.会在IDEA中编写WordCount案例；5.知道Spark的核心概念1.通过本单元的学习使学生初步掌握科学的学习方法，不断地扩展知识面；2.通过本单元的学习培养学生注重团队合作精神学习内容内容名称主要知识点Spark基础1.Spark的特点和用户以及用途；2.Spark集群安装；3.Spark的程序运行及应用提交；4.在IDEA中编写WordCount案例；5.Spark的核心概念教学方法设计采用任务驱动教学方式，激发学生学习兴趣，充分发挥学生的主观能动性上机试验是本课程的重要教学环节，通过上机动手操作使理论应用于实践中学习单元SparkCore应用解析学时16学习目标能力目标知识目标素质目标1.通过本单元的学习，使学生能用其理论和方法解决一些实际问题；2.会用RDD编程，掌握数据读取，提高分析与解决问题能力1.了解RDD概念；2.掌握RDD编程；3.掌握键值对RDD转换操作；4.知道并掌握数据的读取与保存主要方式；5.知道RDD编程进阶；6.掌握SparkCore的几个实例。

1.通过本单元的学习培养学生良好的思想品德、心理素质；2通过本单元的学习培养学生追求真理、严谨求实的科学态度和刻苦钻研的作风学习内容内容名称主要知识点SparkCore应用解析1.RDD概念；2.RDD编程；3.键值对RDD转换操作；4数据的读取与保存主要方式；5.RDD编程进阶；教学方法设计课堂教学采取分组教学贯彻应用启发式、导入式及案例分析的教学方法相结合的原则；本章内容兼顾深度和广度，强调知识的系统性和基础性学习单元SparkSQL应用解析学时14学习目标能力目标知识目标素质目标1.通过本单元的学习，使学生能用其理论和方法解决一些实际问题；2.会用SparkSQL的DataFrame接口进行多种数据源的操作1.了解SparkSQL的概念；2.理解并掌握SparkSQL语句的命令行查询；3.会用IDEA创建SparkSQL程序；4.了解SparkSQL解析；5.知道并掌握SparkSQL的DataFrame接口支持多种数据源的操作；1.通过本单元的学习培养思维能力和对知识形成规律认识的能力；2通过本单元的学习培养学生应用概念认识新事物的能力学习内容内容名称主要知识点SparkSQL应用解析1.SparkSQL的概念；2.SparkSQL语句的命令行查询；3.用IDEA创建SparkSQL程序；4.SparkSQL解析；5.SparkSQL的DataFrame接口支持多种数据源的操作；教学方法设计课堂教学采取分组教学。

贯彻应用启发式、导入式及案例分析的教学方法相结合的原则；本章内容兼顾深度和广度，强调知识的系统性和基础性学习单元SparkStreaming应用解析学时16学习目标能力目标知识目标素质目标1.通过本单元的学习，使学生知道什么是SparkStreaming以及为什么学习SparkStreaming；2.能区分解析与高级解析1.了解SparkStreaming的概念；2.会运行SparkStreaming；3.理解SparkStreaming的架构与抽象；4.理解SparkStreaming解析；5.知道SparkStreaming的高级解析1.通过本单元的学习培养学生良好自学能力；2通过本单元的学习培养学生诚实守信、正直向上的工作作风学习内容内容名称主要知识点SparkStreaming应用解析1.SparkStreaming的概念；2.运行SparkStreaming；3.SparkStreaming的架构与抽象；4.SparkStreaming解析；5.SparkStreaming的高级解析教学方法设计课堂教学采取分组教学，对项目进行演示；在这部分教学内容中注意学生的实际动手操作能力训练，引导学生理论联系实际，应用所学理论解决实际操作问题。

学习单元SparkGraphX应用解析学时12学习目标能力目标知识目标素质目标1.通过本单元的学习，使学生了解SparkGraphX的概念；2.通过本单元的。