Hadoop1.0和Hadoop2.0 Yarn平台的关联_光环大数据培训

光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cnHadoop1.0Hadoop1.0 和和 Hadoop2.0Hadoop2.0 YarnYarn 平台的关联平台的关联_ _光环大数据培训光环大数据培训光环大数据培训光环大数据培训认为，近来这几天一直在忙于 Hbase 的实验，也没有太静下 心来沉淀自己，今天打算写一篇关于 hadoop1.0、Hadoop2.0 与 Yarn 的博文， 从整体上把握三者之间的联系，博客内容如有问题，欢迎留言指正！OK，进入 本文正题在开始接触 Hadoop 的时候，也许大家对于 Hadoop 是下面的一个概念：Hadoop 由两部分组成，一是负责存储与管理文件的分布式文件系统 HDFS、二是负责处 理与计算的 MapReduce 的计算框架。即 Hadoop 通过 HDFS 既能够存储海量的数 据，又能够通过 MapReduce 实现分布式的一个计算，用一句话来概括 Hadoop 就 是：Hadoop 是适合大数据的分布式存储与计算的一个平台。Hadoop在这里我们先看一下 HDFS 的体系结构：HDFS 的体系结构是一个主从式的结构，主节点 NameNode 只有一个，从节点 DataNode 有很多个，大家在这里面要注意：主节点 NameNode 与从节点 DataNode 实际上指的是不同的物理机器，即有一台机器上面跑的进程是 NameNode，很多台机器上面跑的进程是 DataNode ,也就是说服务器的角色是由 其上面跑的进程的角色决定其是什么类型的服务器，不然大家都是一堆物理机 器而已 ，对于这个概念大家务必要区分清楚。接下来我们依次讨论 HDFS 中 NameNode、SecondaryNameNode 与 DataNode 在集 群中的作用：NameNode 的作用：光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn1>NameNode 管理着整个文件系统，负责接收用户的操作请求2>NameNode 管理着整个文件系统的目录结构，所谓目录结构类似于我们 Windows 操作系统的体系结构3>NameNode 管理着整个文件系统的元数据信息，所谓元数据信息指定是除 了数据本身之外涉及到文件自身的相关信息4>NameNode 保管着文件与 block 块序列之间的对应关系以及 block 块与 DataNode 节点之间的对应关系用一句话来概括我们的 NameNode：NameNode 在 HDFS 中是负责管理工作的。DataNode 的作用：1>DataNode 在 HDFS 中只做一件事情：存储数据，并且在 HDFS 中的文件是被切 分成 block 块来进行存储的，这一点不同于我们的 Windows，而在 HDFS 中之所 以将文件切分成 block 块来进行存储，也是为了便于维护与管理。大家要特别注意一下： 在 HDFS 中,我们真实的数据是由 DataNode 来负责来存 储的，但是数据具体被存储到了哪个 DataNode 节点等元数据信息则是由我们的 NameNode 来存储的 。SecondaryNameNode 的作用：SecondaryNameNode 在 HDFS 中只做一件事情：合并 NameNode 节点中的 fsimage 和 edits，具体合并过程如下图所示：光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn首先，SecondaryNameNode 从 NameNode 中通过网络拷贝一份 fsimage 与 edits 到自己进程的那一块，然后将 fsimage 与 edits 进行合并，生成新的 fsimage，并将新生成的 fsimage 推送到 NameNode 节点中一份，并将 NameNode 中 edits 的内容进行清空。大家在这里要注意： NameNode 自己之所以不合并 fsimage 与 edits，是为了更 快的响应用户的操作请求 。文章写到这里，我们就来思考一下，在 Hadoop1.0 中的 HDFS 到底有什么缺陷呢？ 我们可以总结出一下几点：1>NameNode 中的单点故障问题2>因为 NameNode 含有我们用户存储文件的全部的元数据信息，当我们的 NameNode 无法在内存中加载全部元数据信息的时候，集群的寿命就到头了，我 们将这条概括为 NameNode 的内存容量不足的问题3>HDFS 中的权限设计不够彻底，即 HDFS 的数据隔离性不是很好4>如果 HDFS 大量存储小文件的话，会造成 NameNode 的内存压力骤增上面的四点故障在 Hadoop2.0 中得到了相应的解决，至于如何解决的，我们过 一会在谈，在此我们先看一看 Hadoop1.0 中的 MapReduce。MapReduce 是 Hadoop1.0 中的分布式计算框架，包括两个阶段：Mapper 阶段和 Reducer 阶段，用户只需要实现 map 函数和 reduce 函数即可实现分布式计算， 非常简单，接下来我们看一看 MapReduce 的体系结构：MapReduce 的体系结构也是一个主从式的结构，主节点 JobTracker 只有一个， 从节点 TaskTracker 有很多个，JobTracker 与 TaskTracker 在 MapReduce 中的 角色就像是项目经理与开发人员一样，JobTracker 的具体职责如下：光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn1>JobTracker 负责接收用户提交给的计算任务2>将计算任务分配给我们的 TaskTracker 进行执行3>跟踪监控 TaskTracker 的任务 task 的执行状况当然 TaskTracker 的作用就是执行 JobTracker 分配给的计算任务 task。现在让我们想一想在 Hadoop1.0 中 MapReduce 的缺点：1>MapReduce 中的 JobTracker 职责过多，既需要分配资源，又需要跟踪监控每 一个 Job 下的 tasks 的运行情况，这往往造成了内存以及资源的极大浪费2>对于实时性作业和批处理作业，在 Hadoop1.0 中需要搭建不同的集群环境， 每个集群环境运行不同的作业类型，这往往导致了集群的资源利用率并不高， 在实际的业务当中，我们 MapReduce 处理的主要业务为有些延迟的批处理的作 业，也就是说由于 1.0 中 MapReduce 的设计导致集群的资源利用率并不高。好的，带着 1.0 中的 HDFS 的缺陷和 MapReduce 的缺陷我们进入到 Hadoop2.0 中， 我们先谈 2.0 中的 HDFS。在 Hadoop2.0 中，针对 HDFS1.0 中 NameNode 的内存容量不足以及 NameNode 的 单点故障问题，在 2.0 中分别作了以下的改进：1>在 1.0 中，既然一个 NameNode 会导致内存容量不足，我们引入两个 NameNode，组成 HDFS 联邦，这样 NameNode 存储的元数据信息就可以翻倍了， 所谓 HDFS 联邦就是有多个 HDFS 集群同时工作，数据节点 DataNode 存储的数据 是服务于两个 HDFS 文件系统的，体系结构如下图所示：光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn2>在 2.0 中，针对 1.0 中 NameNode 的单点故障问题，在 2.0 中引入了新的 HA 机制：即如果 Active 的 NameNode 节点挂掉，处于 Standby 的 NameNode 节点将 替换掉它继续工作，下面的图示方便大家的理解：在这里大家一定要注意： 2.0 中处于 HDFS 联邦的也是两个 NameNode 节点，处 于 HA 的也是两个 NameNode 节点，但是联邦中的两个 NameNode 节点由于使用的 是不同的命名空间（Name Space），因此两个 NameNode 节点存储的元数据信息 并不相同，但是处于 HA 中的两个 NameNode 节点由于使用的相同的命名空间， 因此两个 NameNode 节点存储的元数据信息是相同的 。好的，介绍完 2.0 中的联邦和 HA 后，我们进入 2.0 中的 MapReduce 即 2.0 中的 YARN，在 Hadoop2.0 中，Yarn 平台是 2.0 的资源管理系统，体系结构如下图所 示：Yarn 是 Hadoop2.0 中的资源管理系统，它的基本设计思想是将 MRv1 中的 JobTracker 拆分成两个独立的服务：一个是全局的资源管理器 ResouceManager 和每个应用程序特有的 AppMaster。在 Yarn 平台中，各个组件的详细功能如下：1>ResouceManager 是一个全局的资源管理器，负责整个系统的资源管理和分配， ResouceManager 相当于 Hadoop1.0 中的 JobTracker 的部分职能：资源分配。2>AppMaster 负责管理单个应用程序，即负责一个 Job 生命周期内的所有工作， 并在任务 task 运行失败时重新为任务申请资源进而重新启动相应的任务， AppMaster 类似老的框架中的 JobTracker 的部分职能：任务分配与任务监控。光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn特别注意：每一个 Job（而不是每一种）都有一个相应的 APPMaster，APPMaster 可以运行在除主节点 ResouceManager 节点以外的其它 机器上，但是在 Hadoop1.0 中，JobTracker 的位置是固定的。3>NodeManager 是每个节点上的资源和任务管理器，一方面：它会定时的向 ResouceManager 汇报本节点上的资源使用情况和各个 Container 的运行状态， 另一方面：它会接受并处理来自 AppMaster 的 container 的启动、停止等各种 请求。讲到这里，和大家谈一谈用户的应用程序（以 MapReduce 程序为例）在 Yarn 平 台上面的运行机制：1>首先，用户的应用程序通过 Yarn 平台的客户端程序将我们的应用程序提交给 我们的 YARN 平台2>YARN 平台的 ResouceManager 接受到我们客户端提交给的应用程序后，将应 用程序交给某个 NodeManager，并在其上面启动一个新的进程 AppMaster3>AppMaster 首先为应用程序在 ResouceMa