Hadoop化繁为简 探索Mapreduce简要原理与实践_光环大数据培训

光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cnHadoopHadoop 化繁为简化繁为简 探索探索 MapreduceMapreduce 简要原理与实践简要原理与实践_ _光环大数据培训光环大数据培训目录-探索 mapreduce1、Mapreduce 的模型简介与特性？Yarn 的作用？2、mapreduce 的工作原理是怎样的？3、配置 Yarn 与 Mapreduce、演示 Mapreduce 例子程序4、javaApi 开发 Mapreduce 程序发散思考-入门 mapreduce思考题：假设有一个长度为 1000 万的 int 数组，求数组数据长度。答：如果是应试考试，你说觉得太简单了吧，一个 for 循环就搞定。可是，它 是一个面试，你如何通过解决这一个问题就脱颖而出呢？凡是，大数据量计算 一定要向多线程方向去靠。思考题：设计一个解决方案，把分布在四台机器上的数据报表统计出来。数据向计算靠近：把数据网络传输全部汇总在一起，然后用应用程序计算。光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn计算向数据靠近：把应用程序放在存储数据的机器节点上，然后把用网络传输 计算结果汇总。mapreduce 简介mapreduce 就是将存储在分布式文件系统 hdfs 的一个大规模数据集，会被切分 许多个独立的小数据块，这些小数据块可以被多个 Map 任务并行处理。mapreduce 特性：分布式存储、工作调度、负载均衡、容错处理、网络通信。mapreduce 设计理念：计算向数据靠拢、“分而治之”。Yarn 被称为调度引擎，那怎么个调度法？答：假设你已经了解 Hdfs 文件系统，当客户端提交一个计算任务给 hadoop 集 群，Master(NameNode)会先拆分计算任务，那么怎么把任务分配给空闲机器呢？ 那怎么识别空闲机器呢？这些任务就交给 Yarn 这个调度引擎处理。如果你对 Hadoop 的环境部署、分布式文件系统还为入门，可参照下述文章：mapreduce 工作流程举例：计算文件中单词出现的次数，我们可以用抽象的思维假设它是一个超级 超级大的文件。注：我的机器的物理架构是一个 Master、三个 Slave，如上图所示。此处暂且 不讨论 Block 与 InputSplit 的关系。光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cnMaster 负责协调调度作业，Slave 负责执行 Map、Reduce 任务。在分布式文件系统下存在/input/words.txt 大文件，Master 将大文件按行 分成 5 个分片，并且把任务分配给 Slave 分配给空闲机器。把任务分配给靠近 数据节点(在文件系统中，文件可能只在 Slave1、Slave2 这两台机器上，所以 把拆分任务尽量分配给存储文件的机器上)。执行 Map 任务：把每个分片上的任务，按行拆分单词，并且把单词作为 key、出现次数作为 value。并且把中件结果，也就是 shuffle 的结果存 储在本地缓冲区中，当缓存满了，清空缓存，把缓存数据写入到本地文件系统 中，被称为“溢写”。当一个 Map 任务完成以后，它会马上通知 Master 机器， 需要 Master 安排机器来领取数据执行 Reduce 任务。在 shuffle 过程中，可能有一个疑问，是怎样把相同 key 值的 value 放在 一块去的呢？在数据结构中，有一个 hash 查找的概念，在这里就是采用 hashMap 函数。执行 Reduce 任务：在执行 Reduce 任务之前，会把分布在不同机器上的同 一个结果集通过 shuffle 过程归并在一起。例如，假设上面的 input 是一个超 级大的文件，每一行被分布在不同机器上，那么 java 这个 key 值可能在 Slave1、Slave2 当中都有，那么就需要先把 Slave1、Slave2 的 java 派发在同 一台机器上执行 Reduce 任务。最后，Reduce 任务就是把 List遍历，按照 key 把 value 相加。建议：理论先知道轮廓，马上进行实践，最少总结再研究细节。配置 yarn 与执行 mapreduce注：假设已经参考上述文章，配置好 hadoop 环境、hdfs。1、配置计算引擎 mapreduce 和调度引擎 yarn。2、Master(nameNode)的 mapred-site.xml光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cnmapreduce.framework.name yarn3、Master(namenode)和 Slave(datanode)的 yarn-site.xmlyarn.resourcemanager.hostname master yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.auxservices.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler4、start-yarn.sh 启动集群，如果没有配置环境变量，需要在/hadoop/sbin/ 目录下执行。5、利用 jps 查看集群启动情况或者利用网页 http:/master:8088/观察。6、查找 mapreduce 示例程序：/ find /usr/local/hadoop -name *example*.jar 查找示例文件7、执行 hadoop jar *.jar wordcount /input /output28、可利用网页(http:/master:8088/cluster)查看 job 执行情况光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn为什么大家选择为什么大家选择光环大数据光环大数据！大数据培训、人工智能培训、Python 培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请专业的大数据领域知名讲师，确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术，将前沿技能融入教学中，确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式，指导学生更快的掌握技能知识，成就上万个高薪就业学子。【报名方式、详情咨询报名方式、详情咨询】光环大数据官方网站报名：光环大数据官方网站报名：http:/hadoop.aura.cn/http:/hadoop.aura.cn/手机报名链接：手机报名链接：http:/http:/ hadoop.aura.cnhadoop.aura.cn /mobile/mobile/