王家林的云计算分布式大数据Hadoop最佳实践.docx

一：课程简介：Hadoop 天生是解决大数据高并发问题的， 是一个能够对海量数据进行分布式处理的软件框架互联网企业、金融机构、政府组织和云计算服务企业每天都会产生大量的数据并面临高并发的严峻考验，传统的关系型数据库已经无法满足大数据量高并发的要求，作为云计算实现规范和实施标准的 Hadoop 应运而生使用 Hadoop，用户可以在不了解分布式底层细节的情况下开发出分布式程序，从而可以使用众多廉价的计算设备的集群的威力来高速的运算和存储，而且 Hadoop 的运算和存储是可靠的、高效的、可伸缩的，能够使用普通的社区服务器出来 PB 级别的数据，是分布式大数据处理的存储的理想选择云计算分布式大数据 Hadoop 深入浅出案例驱动实战”基于实务经验萃取而成，从 Hadoop 开发环境的搭建到到图片服务器、WordCount 实现、HBase 微博系统、话单查询与统计、Hive 数据统计案例、电商业日志流量分析项目理论结合实际案例，祝你轻松驾驭 Hadoop 以满足大数据的分布式处理与存储课程以 MapReduce、HBase、Hive 为主轴，想理解和使用 Hadoop，就必须掌握这三大核心。

二：课程特色1， 案例驱动教学，全程项目实战训练：图片服务器、WordCount 实现、HBase 微博系统、话单查询与统计、Hive 数据统计案例、电商业日志流量分析；2， 掌握 Hadoop 三大核心：MapReduce、HBase、Hive3， 萃取出实际开发中最常用、最实用的内容并以深入浅出的方式把难点化于无形之中三：适合对象：软件工程师；数据库开发人员；网络后台开发人员；运维人员；四：基础要求了解 Linux系统；了解网络；了解 Java；五：讲师简介Hadoop源码级专家，曾负责某知名公司的类 Hadoop框架开发工作，专注于 Hadoop一站式解决方案的提供，同时也是云计算分布式大数据处理的最早实践者之一，Hadoop 的狂热爱好者，不断的在实践中用 Hadoop解决不同领域的大数据的高效处理和存储，现在正负责 Hadoop在搜索引擎中的研发中国电信的多次 Hadoop培训，花旗银行的 Hadoop内训，金立的 Hadoop内训等，著有《云计算分布式大数据 Hadoop实战高手之路---从零开始》 《云计算分布式大数据 Hadoop实战高手之路---高手崛起》 《云计算分布式大数据 Hadoop。

实战高手之路---高手之巅》等；Android架构师、高级工程师、咨询顾问、培训专家；通晓 Android、HTML5、Hadoop，迷恋英语播音和健美；致力于 Android、HTML5、Hadoop 的软、硬、云整合的一站式解决方案；国内最早（2007 年）从事于 Android 系统移植、软硬整合、框架修改、应用程序软件开发以及Android 系统测试和应用软件测试的技术专家和技术创业人员之一HTML5技术领域的最早实践者（2009 年）之一,成功为多个机构实现多款自定义 HTML5 浏览器，参与某知名的 HTML5 浏览器研发；超过 10本的 IT畅销书作者；；六：培训内容时间 内容 备注第一天 第 1 个 主 题 ： Hadoop 思 考1.Hadoop 的设计目标和适用场景2.Hadoop 架构解析3.MapReduce 工作原理和案例说明第 2 个 主 题 ： Hadoop 集 群 与 管 理1、 Hadoop 集群的搭建2、 Hadoop 集群的监控3、 Hadoop 集群的管理4、 集群下运行 MapReduce 程序第 3 个 主 题 ： HDFS1. HDFS 命令行操作实战2. HDFS 的配置管理3. NameNode 的工作机制第 4 个 主 题 ： HDFS 案 例 实 战1. HDFS 案例的分析和设计2. 环境搭建3.使用 Hadoop Java API 实现对 HDFS 写入、读取、删除文件等操作第 5 个 主 题 ： MapReduce 剖 析1. MapReduce 的原理和运行过程2. 构建 MapReduce 的开发环境第 6 个 主 题 ： MapReduce 案 例 实 战1. 使用 MapReduce 的 Java 接口实现经典的 WordCount2. wordcount 运行过程解析3. MapReduce 实现数据去重操作4. MapReduce 实现数据排序5. MapReduce 实现数据平均数据的计算第 7 个 主 题 ： HBase 架 构 设 计 和 实 现 剖 析1、 HBase 定义2、 HBase 与 RDBMS 的对比3、 数据模型4、 系统架构5、 HBase 上的 MapReduce6、 表的设计第 8 个 主 题 ： HBase 集 群 及 其 管 理1、 集群的搭建过程讲解2、 集群的监控3、 集群的管理第 9 个 主 题 ： HBase 客 户 端1、 HBase Shell 以及演示2、 Java 客户端以及代码演示时间 内容 备注第二天第 1 个 主 题 ： HBase 案 例 实 战 1---使 用 HBase 实 现 微 博 系统1. 项目架构和设计2. 开发环境搭建3. 实现用户登录和注销4.“关注”功能的设计和实现5.“发微博”功能的设计和实现6.发布和运行整个基于 HBase 的微博系统第 2 个 主 题 ： HBase 与 MapReduce1. HBase 与 MapReduce 的关系2. HBase 如何使用 MapReduce第 3 个 主 题 ： HBase 案 例 实 战 2---话 单 查 询 与 统 计1. 项目架构设计2. 开发环境搭建3. 话单入库和查询的设计与实现4.统计功能的设计与实现第 4 个 主 题 ： MapReduce 高 级 实 战1. Split 实现剖析2. 自定义输入的实现3. Reduce 的 partition 4. 案例实战第 5 个 主 题 ： 安 装 和 使 用 Hive1. Hive 剖析2. 安装 Hive3.Hive 的基本使用第 6 个 主 题 ： Hive 与 HDFS、 MapReduce1. Hive 向 HDFS 存入结构化数据2. 使用 MySQL 作为 Hive 的元数据库3.Hive 与 MapReduce第 7 个 主 题 ： Hive1. Hive 的 Java 扩展开发2. Hive UDF 和 UDAF 开发3. Hive 常见场景，实战练习时间 内容 备注第三天第 1 个 主 题 ： Hive 案 例 实 战 ---数 据 统 计1. 项目架构设计2. 表结构设计3.数据的插入与统计实现第 2 个 主 题 ： Sqoop1. Sqoop 原理2. Sqoop 使用详解3. 用 Sqoop 实现 HDFS/Hive 与关系数据库的数据交互4. 用 Sqoop 实现 HBase 与关系数据库的数据交互第 3 个 主 题 ： 电 商 业 日 志 流 量 分 析 项 目电商业日志流量分析项目，互联网企业对海量日志的分析是 Hadoop 应用的一个重要用途，也是对网站流量、客户行为分析的重要途径。

该项目整合 Hive、Hbase、Sqoop等常用组件，涉及从后台处理到前台呈现的每一个技术环节包括：1·业务需求介绍2·数据建模3·后台算法设计4·后台业务处理5·前台 WEB 展示等第 4 个 主 题 ： Hadoop 开 发 者 之 路1. Hadoop 技能模型2. Hadoop 开发者最佳学习路线和方式3.Hadoop 开发者最佳成长路线。