（可编）“大数据技术与应用”赛项规程.docx

〃大数据技术与应用〃赛项规程—、赛项名称赛项名称：大数据技术与应用英语翻译：Big Data Technology and Application赛项组别：高职组赛项归属产业：电子信息产业二、竞赛目的（一） 促进发展专业教学内容和课程体系改革国务院印发《促进大数据发展行动纲要》（以下简称《纲要》），系统指导我国 大数据发展的国家顶层设计和总体部署大数据发展工作《纲要》中明确指岀，要加 强专业人才培养，创新人才培养模式，建立健全多层次、多类型的大数据人才培养体 系2016年9月，教育部批准设立了高职院校“大数据技术与应用"专业由于缺 乏与用人单位岗位核心技术技能相匹配的专业课程体系及师资力量，严重影响了高职 院校大数据人才培养质量大数据技术与应用赛项包括大数据平台运行维护、数据采集与预处理、数据清洗 及存储、数据分析及可视化等工作内容考査内容对接国家教学标准提出的大数据相 关专业综合核心技术技能和职业素养，能够适应我国大数据产业对高素质复合型人才 的产业需求，覆盖大数据行业技术岗位体系，满足大数据企业技术研发类、基础平台 运营类岗位对大数据平台运维能力、大数据应用开发能力及职业素养等方面的要求； 促进教师专业能力及教学能力的提升，引领大数据技术与应用专业建设及课程改革。

二） 开拓产教融合新模式、推进协同育人产学研合作大数据技术与应用赛项选取大数据行业企业典型项目需求，围绕项目开发过程设 计竞赛内容，竞赛任务就是项目工作任务通过本赛项推动了课程内容与职业标准对 接，教学过程与生产过程对接，专业与产业对接，实现教育链、人才链与产业链、创 新链有机衔接，促进产教融合、校企合作、产业发展三） 为企业提供大数据人才支撑，提高学生就业质量大数据技术与应用赛项选取真实的大数据业务分析应用场景，重点考査选手的实 际动手能力、规范操作水平、创新创意水平等综合职业能力参赛选手通过对实际业 务数据的分析，运用大数据领域技术手段，揭示业务数据隐含的业务规律，实现对业 务运行发展状态的推断，以数据分析结果为支撑做出科学合理的决策建议，影显了参 赛选手的综合职业能力及教师的教学能力，充分展示职教改革成果及师生良好精神面 貌三、竞赛内容赛项以大数据技术与应用为核心内容，重点考查参赛选手基于Hadoop. Spark 平0环境下，利用Hadoop. Spark技术生态组件，综合软件开发相关技术，解决实际 问题的能力，具体包括：1） 掌握按照项目需求配置管理Hadoop、Spark大数据平台及相关生态组件；2） 掌握企业常用数据清洗匸具相关技术，完成指定数据的清洗及分析能力：3） 综合利用HDFS、Spark、Flask等技术，使用Java、Python等开发语言，完 成数据清洗、存储、转化、分析及数据推送等一系列大数据操作；4） 综合运用HTML、CSS、JavaScript. Python等开发语言，对数据进行可视化 呈现；5） 根据数据可视化结果，完成数据分析报告的编写。

竞赛内容构成如下：考核环节考核知识点和技能点描述Tadoop、Spark 平台 的配置和部署集群免密配置和基础软件安装配置考察Hadoop + Spark集群 的部署能力，掌握常用的基 本配置和基础软件安装•能 核部署和管理高可用集群 掌握％b平台的搭建Hadoop集群挤建Spark集群搭建可视化平台的搭建数据获取与分布式 文件系统操作査找指定源数据文件掌握Linux基础命令考察 Hadoop文件系统的常用命 令，掌握分布式文件系统命 令行操作与API操作HDFS创建目录及上传源数据使用Hadoop API操作源数据Spark数据清洗与分 析基于Spark Java API的本地项目搭建考察对分布式计算和分布 式存储架构卜的数据读写、导入本地Java项目的依赖作数据清洗、数据转换、数据 分析等综合应用能力，使用 Java开发语言，完成Spark 框架下的HDFS读写、内存 表构建、SQL函数关联合并掌握在Spark框架下的Java API编程熟练使用SparkSQL读写HDFS使用检索和淸洗函数处理Spark内存表数据过滤等一系列数据操作根据实验任务书编写分析模块代码进行编译、打包、提交集群，执行Spark程序， 监控任务执行情况。

输出目标数据文件Web数据可视化构建Web平台项目，使用HDFS API读取Spark 任务提供的目标数据集通过常见的数据可视化方 法，将数据分析结果以图表 的形式进行呈现，使用 Java、Python 及 HTML 等编 程语言，实现数据源分析结 果展现编写前端代码.对数据分析结果进行呈现综合分析通过项目代码和架构，根据数据分析结果及可视 化图表进行报告编写，形成决策分析报告考察学生对大数据技术与 决策分析和归纳概括表述 的综合操作能力和表达能竞赛各阶段分值权重分布如下:主要涉及的知识和技能点分值权重Hadoop、Spark平台的配置和部署25%数据获取与分布式文件系统操作10%Spark数据清洗与分析25%Web数据可视化20%综合分析15%团队分工明确合理、操作规范、文明竞赛5%大数据技术与应用赛项为团体赛毎支参赛队由3名参赛选手组成，须为同校在 籍学生，其中队长1名每支参赛队可配2名指导教师指导教师须为本校专兼职教 师同一学校的报名参赛队不超过3支参赛选手和指导教师报名获得确认后不得随 意更换竞赛设单一场次，所有参赛队4小时内完成比赛，比赛形式以实践操作为主，采 用小组合作的形式完成赛项任务，以现场过程评价与完成任务结果评价为主要考核方 式。

竞赛釆用考试系统，客观题由系统自动统计评分，主观题如大数据应用开发、 工程报告明确每项公开评分标准和得分点考试系统通过场外大屏，可实时跟踪竞赛 进度赛项采用统一规格的硬件、软件和辅助1:具，确保竞赛平台统一五、竞赛流程根据竞赛任务要求，参赛队伍在4小时竞赛时间内须完成竞赛任务，参赛队伍须按顺序完成各项任务,但每项任务用时可自行掌握竞赛流程正富诳行完成比赛二次m福『分成闭鹿式（二）竞赛时间安排日期时间内容比赛前1日12:00之前各参春队报到：裁判报到10:00—11:00裁判工作会议；工作人员（含监考）培训会15:30—16:00赛前领队会16:00—16:30参賽队熟悉比赛场地比赛当日17:00—18:00现场裁判赛前检査，封闭赛场7:00—7:30参祥队集合前往比赛现场7:30—8:008:00—8:10赛场检录8:10—8:20一次加密：参春队抽取参春编号8:20—8:30二次加密：参赛队抽取赛位号8:30—8:40参赛队进入比赛赛位，进行赛前软、硬件检査、题目发 放8:10-12:40比賽12:40—13:00收取各参赛队赛题及比赛结果文档12:40—14:40申诉受理13:00—13:30三次加密：竞赛结果等文件加密13:30—21:00成绩评定与复核六、竞赛试题（一）赛项执委会下设的命题专家组负责本赛项命题工作。

七、竞赛规则1. 参赛选手须为高等职业学校全日制在籍学生本科院校中高职类全日制在籍学生，五年制高职四、五年级学生可报名参赛参赛选手年龄须不超过25周岁（年龄 计算的截止时间以2020年5月1日为准）o凡在往届山西省职业院校技能大赛中获 本赛项高职组一等奖的选手，不能再参赛2. 竞赛前1日安排各参赛队领队、参赛选手熟悉赛场3. 严禁参赛选手、赛项裁判、1：作人员私自携带通讯、摄录设备进入比赛场地4. 参赛选手所需的硬件、软件和辅助工具统一提供，参赛队不得使用自带的任何有存储功能的设备，如硬盘、光盘、U盘、,随身听等5. 所有参赛选手都必须携带参赛证件逬行检录6. 参赛队在赛前10分钟领取比赛任务并进入比赛工位，比赛正式开始后方可进行相关操作7. 比赛过程中，选手须严格遵守操作规程，确保人身及设备安全，并接受裁判员 的监督和指示因选手原因造成设备故障或损坏而无法继续比赛的，裁判长有权决定 中止该队比赛：非因选手个人原因造成设备故障的，由裁判长视具体情况作出裁决8. 比赛结束（或提前完成）后，参赛队要确认已成功提交竞赛要求的配置文件和 文档，裁判员与参赛队队长一起签字确认，参赛队在确认后不得再进行任何操作。

比 赛时间终了，选手应全体起立，结束操作经工作人员査收清点所有文档后方可离开 赛场，离开赛场时不得带走任何资料9. 比赛结朿，经加密裁判对各参赛队提交的竞赛成果进行三次加密后，评分裁判 方可入场进行成绩评判竞赛成绩经复核无误后，由记分员将解密后的各参赛队伍成 绩汇总成比赛成绩，经裁判长、监督组签字后，在指定地点，以纸质形式向全体参赛 队进行公布公布2小时无异议后，将赛项总成绩的最终结果录入赛务管理系统，经 裁判长、监督组和仲裁K在系统导出成绩单上审核签字后，在闭赛式上宣布并颁发 证书10. 其它未尽事宜，将在赛前向各领队做详细说明八、 竞赛场地和环境标准1. 竞赛现场设置场内竞赛区、现场裁判工作区、技术支持区等竞赛匚位内设有 操作平台，每工位配备220V电源，工位内的电缆线应符合安全要求竟赛工位标明 工位号，并配备竞赛平台和技术工作要求的软、硬件环境标准要求保证赛场采光（大 于5001ux）,照明和通风良好2. 场内竞赛区为参赛队提供统一的竞赛设备；选手无需自带任何工具及附件3. 监考人员协助裁判长和现场裁判做好负责工位范围内的秩序维持4. 技术支持保障人员在技术支持服务区候场，有需要时在现场裁判的带领下到相 关的工位进行赛场技术支持保障，在条件具备时，技术支持区可不设置在考场内。

5. 竞赛现场通风良好、照明符合教室采光规范九、 技术规范本赛项的技术规范将包括：相关专业的教育教学要求、行业、职业技术标准，以 及根据高职目录修订后的大数据技术与应用相关专业人才培养标准和规范，适时地修 订本赛项遵循的技术规范表1：基础标准标准内容GB/T 11457-2006信息技术、软件工程术语GB8566-88计算机软件开发规范GB/T 12991-2008信息技术数据库语言SQL第1部分：框架GB/T 21025-2007XML使用指南GB/T 28821-1012关系数据管理系统技术要求LD/T81. 1-2006职业技能实训和鉴定设备技术规范-T-469：信息技术云数据存储和管理第1部分：总则-T-469：信息技术云数据存储和管理第2部分：基于对象的云存储应用接口GB/T 20009-2005：信息安全技术数据库管理系统安全评估准则已发布GB/T 20273-2006：信息安全技术数据库管理系统安全技术要求-T-469：信息技术安全技术信息安全管理体系实施指南表2：软件开发标准标准内容GB/T 8566 -2001信息技术软件生存周期过程GB/T 15853 -1995软件支持环境GB/T 14079 -1993软件维护指南GB/T 17544-1998信息技术软件包质量要求和测试十、技术平台比赛器材、技术平台：大数据技术与应用平台（合作企业：南京云创大数据科技 股份有限公司；品牌：。