学习大数据,大数据学习内容,大数据学习路线—光环大数据培训.pdf

想拿 高薪 ，选对行业很重要！学 大数据 ， 工资高，前景好 ！ 16 年老品牌，上市 IT 培训机构 学 大数据，就选光环大数据 官方网站 H 学习大数据怎么学 ？学习什么内容？ 大数据学习怎么学？ 大数据学习路线 1.Linux 基础和分布式集群技术 学完此阶段可掌握的核心能力： 熟练使用 linux，熟练安装 Linux 上的软件，了解熟悉负载均衡、高可靠等集群相关概念，搭建互联网高并发、高可靠的服务 架构 ； 学完此阶段可解决的现实问题： 搭建负载均衡、高可靠的服务器集群，可以增大网站的并发访问量，保证服务不间断地对外服务； 学完此阶段可拥有的市场价值： 具备初级程序员必要具备的 Linux 服务器运维能力 1.内容介绍： 在 大数据 领域，使用最多的 操作系统 就是 Linux 系列，并且几乎都是分布式集群该课程为大数据的基础课程，主要介绍 Linux 操作系统、 Linux 常用命令、 Linux 常用软件安装、Linux 网络、防火墙、 Shell 编程等 2.案例：搭建互联网高并发、高可靠的服务架构 想拿 高薪 ，选对行业很重要！学 大数据 ， 工资高，前景好 ！ 16 年老品牌，上市 IT 培训机构 学 大数据，就选光环大数据 官方网站 H 2.离线计算系统课程阶段 1. 离线计算系统课程阶段 Hadoop 核心技术框架 学完此阶段可掌握的核心能力： 1、通过对大数据技术产生的背景和行业应用案例了解 hadoop 的作用； 2、掌握 hadoop底层分布式文件系统 HDFS 的原理、操作和应用开发； 3、掌握 MAPREDUCE 分布式运算系统的工作原理和分布式分析应用开发； 4、掌握 Hive 数据仓库工具的工作原理及应用开发。

学完此阶段可解决的现实问题： 1、熟练搭建海量数据离线计算平台； 2、根据具体业务场景设计、实现海量数据存储方案； 3、根据具体数据分析需求实现基于 mapreduce 的分布式运算程序； 学完此阶段可拥有的市场价值： 具备企业数据部初级应用开发人员的能力 1.1 HADOOP 快速入门 1.1.1 hadoop 知识背景 什么是 hadoop、 hadoop 产生背景、 hadoop 在大数据 云计算 中的位置和关系、国内hadoop 的就业情况分析及课程大纲介绍 想拿 高薪 ，选对行业很重要！学 大数据 ， 工资高，前景好 ！ 16 年老品牌，上市 IT 培训机构 学 大数据，就选光环大数据 官方网站 H 国内外 hadoop 应用案例介绍 分布式系统概述、 hadoop 生态圈及各组成部分的简介 1.1.2 hive 快速入门 hive 基本介绍、 hive 的使用、数据仓库基本知识 1.1.3 数据分析流程案例 web 点击流日志数据挖掘的需求分析、数据来源、处理流程、数据分析结果导出、数据展现 想拿 高薪 ，选对行业很重要！学 大数据 ， 工资高，前景好 ！ 16 年老品牌，上市 IT 培训机构 学 大数据，就选光环大数据 官方网站 H 1.1.4 hadoop 数据分析系统集群搭建 集群简介、服务器介绍、网络环境设置、服务器系统环境设置、 JDK 环境安装、 hadoop集群安装部署、集群启动、集群状态 测试 HIVE 的配置安装、 HIVE 启动、 HIVE 使用测试 1.2 HDFS 详解 1.2.1 HDFS 的概念和特性 什么是分布式文件系统、 HDFS 的设计目标、 HDFS 与其他分布式存储系统的优劣势比较、 HDFS 的适用场景 想拿 高薪 ，选对行业很重要！学 大数据 ， 工资高，前景好 ！ 16 年老品牌，上市 IT 培训机构 学 大数据，就选光环大数据 官方网站 H 1.2.2 HDFS 的 shell 操作 HDFS 命令行客户端启动、 HDFS 命令行客户端的基本操作、命令行客户端支持的常用命令、常用参数介绍 1.2.3 HDFS 的工作机制 HDFS 系统的模块架构、 HDFS 写数据流程、 HDFS 读数据流程 NAMENODE 工作机制、元数据存储机制、元数据手动查看、元数据 checkpoint 机制、NAMENODE 故障恢复、 DATANODE 工作机制、 DATANODE 动态增减、全局数据负载均衡 1.2.4 HDFS 的 Java 应用开发 搭建开发环境、获取 api 中的客户端对象、 HDFS 的 java 客户端所具备的常用功能、HDFS 客户端对文件的常用操作实现、利用 HDFS 的 JAVA 客户端开发数据采集和存储系统 1.3 MAPREDUCE 详解 1.3.1 MAPREDUCE 快速上手 为什么需要 MAPREDUCE、 MAPREDUCE 程序运行演示、 MAPREDUCE 编程示例及编程规范、 MAPREDUCE 程序运行模式、 MAPREDUCE 程序调试 debug 的几种方式 想拿 高薪 ，选对行业很重要！学 大数据 ， 工资高，前景好 ！ 16 年老品牌，上市 IT 培训机构 学 大数据，就选光环大数据 官方网站 H 1.3.2 MAPREDUCE 程序的运行机制 MAPREDUCE 程序运行流程解析、 MAPTASK 并发数的决定机制、 MAPREDUCE 中的combiner 组件应用、 MAPREDUCE 中的序列化框架及应用、 MAPREDUCE 中的排序、MAPREDUCE 中的自定义分区实现、 MAPREDUCE 的 shuffle 机制、 MAPREDUCE 利用数据压缩进行优化、 MAPREDUCE 程序与 YARN 之间的关系、 MAPREDUCE 参数优化 通过以上各组件的详解，深刻理解 MAPREDUCE 的核心运行机制，从而具备灵活应对各种复杂应用场景的能力 MAPREDUCE 实战编程 案例：通过一个实战案例来熟悉复杂 MAPREDUCE 程序的开发。

该程序是从 nginx 服务器产生的访问服务器中计算出每个访客的访问次数及每次访问的时长原始数据样例如下： 通过一系列的 MAPREDUCE 程序 —— 清洗、过滤、访问次数及时间分析，最终计算出需求所要的结果，用于支撑页面展现： 想拿 高薪 ，选对行业很重要！学 大数据 ， 工资高，前景好 ！ 16 年老品牌，上市 IT 培训机构 学 大数据，就选光环大数据 官方网站 H 1.4 HIVE 增强 1.4.1 HIVE 基本概念 HIVE 应用场景、 HIVE 内部架构、 HIVE 与 hadoop 的关系、 HIVE 与传统 数据库 对比、HIVE 的数据存储机制、 HIVE 的运算执行机制 1.4.2 HIVE 基本操作 HIVE 中的 DDL 操作、 HIVE 中的 DML 操作、在 HIVE 中如何实现高效的 JOIN 查询、HIVE 的内置函数应用、 HIVE shell 的高级使用方式、 HIVE 常用参数配置、 HIVE 自定义函数和 TRANSFORM 的使用技巧、 HIVE UDF 开发实例 1.4.3 HIVE 高级应用 想拿 高薪 ，选对行业很重要！学 大数据 ， 工资高，前景好 ！ 16 年老品牌，上市 IT 培训机构 学 大数据，就选光环大数据 官方网站 H HIVE 执行过程分析及优化策略、 HIVE 在实战中的最佳实践案例、 HIVE 优化分类详解、HIVE 实战案例 --数据 ETL、 HIVE 实战案例 --用户访问时长统计 HIVE 实战案例 --级联求和报表实例： 离线数据挖掘系统 学完此阶段可掌握的核心能力： 1、通过对数据仓库知识的加强初步掌握数据仓库的核心概念和设计流程 ;2、通过对HADOOP 生态圈关键辅助工具的学习掌握 hadoop 分析系统的整合能力 ;3、通过电商系统点击流日志数据挖掘系统实战项目，掌握 hadoop 离线数据挖掘系统从数据采集、入库、分析及报表展现的整套流程 学完此阶段可解决的现实问题： 1、可根据企业具体场景设计海量数据分析系统的通用架构 2、根据具体场景的特点有针对性地调整数据分析各环节的技术选型 ;3、根据具体需求搭建起整套离线数据分析系统 ;4、简单数据仓库模型的设计和架构 5、各环节具体功能模块的开发实现 学完此阶段可拥有的市场价值： 具备企业数据部中高级应用开发和初级架构师能力 2.1 数据仓库增强 2.1.1 数据仓库及数据模型入门 什么是数据仓库、数据仓库的意义、数据仓库核心概念、 数据仓库的体系结构 想拿 高薪 ，选对行业很重要！学 大数据 ， 工资高，前景好 ！ 16 年老品牌，上市 IT 培训机构 学 大数据，就选光环大数据 官方网站 H 2.1.2 数据仓库设计 建立数据仓库的步骤、数据的抽取、数据的转换、数据的加载、什么是数据模型、数据模型的常见类型、如何设计数据模型、如何选择数据建模的架构 典型数据模型 —— 星型建模实例 2.1.3 数据仓库建模样例 业务建模、领域建模、逻辑建模、物理建模 web 点击流日志分析系统数据仓库设计实战： 通过对数据特点和业务需求的分析，关系梳理，设计出一个主题明确、层次合理的数据模型 2.2 离线辅助系统 2.2.1 数据采集系统 想拿 高薪 ，选对行业很重要！学 大数据 ， 工资高，前景好 ！ 16 年老品牌，上市 IT 培训机构 学 大数据，就选光环大数据 官方网站 H 数据采集概念介绍 FLUME 日志采集框架介绍、 FLUME 工作机制、 FLUME 核心组件、 FLUME 参数配置说明、 FLUME 采集 nginx 日志实战案例 2.2.2 任务调度系统 任务调度系统概念介绍、常用任务调度工具比较、 OOZIE 介绍、 OOZIE 核心概念、OOZIE 的配置说明、 OOIZE 实现 mapreduce/hive 等任务调度实战案例 想拿 高薪 ，选对行业很重要！学 大数据 ， 工资高，前景好 ！ 16 年老品牌，上市 IT 培训机构 学 大数据，就选光环大数据 官方网站 H 2.2.3 数据导出 数据导出概念介绍、 SQOOP 基础知识、 SQOOP 原理及配置说明、 SQOOP 数据导入实战、 SQOOP 数据导出实战、 SQOOP 批量作业操作 2.3 web 点击流日志分析系统实战项目 2.3.1 项目介绍 想拿 高薪 ，选对行业很重要！学 大数据 ， 工资高，前景好 ！ 16 年老品牌，上市 IT 培训机构 学 大数据，就选光环大数据 官方网站 H 1. 在 PC 时代，营销的核心是购买，在移动互联网时代，其核心是如何实现用户个性化互动，对用户传播更为精准化的内容，而实现这一核心的基础就是对数据的管理和分析 ——数据驱动型商业模型。

2. 各类互联网服务产品 (如网站、 APP)都可以通过前端技术获取用户的详细行为数据 (如访问的页面，点击的区域、登陆的频次、注册行为、购买的行为等 )，将这些点击流日志数据与后台商业数据综合起来，就可以挖掘对公司运营决策意义非凡的商业价值 3. 本项目则是一个用大数据技术平台实 现的点击流日志分析数据挖掘系统，项目内容涵盖一个典型数据。