Hadoop分布式集群搭建经验分享_光环大数据培训

光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cnHadoopHadoop 分布式集群搭建经验分享分布式集群搭建经验分享_ _光环大数据培训光环大数据培训光环大数据培训光环大数据培训认为，本文章我们使用 hadoop2.6.0 版本配置 Hadoop 集群， 同时配置 NameNode+HA、ResourceManager+HA，并使用 zookeeper 来管理 Hadoop 集群。1.1 写在前面的话1.2 (一)HDFS 概述1.2.1 基础架构1、NameNode(Master)1)命名空间管理：命名空间支持对 HDFS 中的目录、文件和块做类似文件系 统的创建、修改、删除、列表文件和目录等基本操作。2)块存储管理。1.2.2 HA 架构从上面的架构图可以看出，使用 Active NameNode，Standby NameNode 两 个节点可以解决单点问题，两个节点通过 JounalNode 共享状态，通过 ZKFC 选 举 Active ，监控状态，自动备份。1、Active NameNode接受 client 的 RPC 请求并处理，同时写自己的 Editlog 和共享存储上的 Editlog，接收 DataNode 的 Block report, block location updates 和 heartbeat。2、Standby NameNode同样会接到来自 DataNode 的 Block report, block location updates 和 heartbeat，同时会从共享存储的 Editlog 上读取并执行这些 log 操作，保持自 己 NameNode 中的元数据(Namespcae information + Block locations map)和 Active NameNode 中的元数据是同步的。所以说 Standby 模式的 NameNode 是一 个热备(Hot Standby NameNode)，一旦切换成 Active 模式，马上就可以提供 NameNode 服务。光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn3、JounalNode用于 Active NameNode ， Standby NameNode 同步数据，本身由一组 JounnalNode 节点组成，该组节点奇数个。4、ZKFC监控 NameNode 进程，自动备份。1.3 (二)YARN 概述1.3.1 基础架构1、ResourceManager(RM)接收客户端任务请求，接收和监控 NodeManager(NM)的资源情况汇报，负 责资源的分配与调度，启动和监控 ApplicationMaster(AM)。2、NodeManager节点上的资源管理，启动 Container 运行 task 计算，上报资源、 container 情况汇报给 RM 和任务处理情况汇报给 AM。3、ApplicationMaster单个 Application(Job)的 task 管理和调度，向 RM 进行资源的申请，向 NM 发出 launch Container 指令，接收 NM 的 task 处理状态信息。4、Web Application Proxy用于防止 Yarn 遭受 Web 攻击，本身是 ResourceManager 的一部分，可通过 配置独立进程。ResourceManager Web 的访问基于守信用户，当 Application Master 运行于一个非受信用户，其提供给 ResourceManager 的可能是非受信连 接，Web Application Proxy 可以阻止这种连接提供给 RM。5、Job History ServerNodeManager 在启动的时候会初始化 LogAggregationService 服务, 该服 务会在把本机执行的 container log (在 container 结束的时候)收集并存放到 hdfs 指定的目录下. ApplicationMaster 会把 jobhistory 信息写到 hdfs 的 jobhistory 临时目录下, 并在结束的时候把 jobhisoty 移动到最终目录, 这样 就同时支持了 job 的 recovery.History 会启动 web 和 RPC 服务, 用户可以通过 网页或 RPC 方式获取作业的信息。光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn1.3.2 HA 架构ResourceManager HA 由一对 Active，Standby 结点构成，通过 RMStateStore 存储内部数据和主要应用的数据及标记。目前支持的可替代的 RMStateStore 实现有：基于内存的 MemoryRMStateStore，基于文件系统的 FileSystemRMStateStore，及基于 zookeeper 的 ZKRMStateStore。 ResourceManager HA 的架构模式同 NameNode HA 的架构模式基本一致，数据共 享由 RMStateStore，而 ZKFC 成为 ResourceManager 进程的一个服务，非独立 存在。1.4 (三)规划1.4.1 主机规划1.4.2 软件规划1.4.3 用户规划1.4.4 目录规划1.5 (四)集群安装前的环境检查1.5.1 时钟同步1.5.2 hosts 文件检查1.5.3 禁用防火墙1.6 (五)配置 SSH 免密码通信1.7 (六)脚本工具的使用1.8 (七)jdk 安装1.9 (八)Zookeeper 安装1.10 (九)hadoop 集群环境搭建1.10.1 配置 HDFS1.10.2 hdfs 配置完毕后启动顺序光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn1.10.3 YARN 安装配置为什么大家选择为什么大家选择光环大数据光环大数据！大数据培训、人工智能培训、Python 培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请专业的大数据领域知名讲师，确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术，将前沿技能融入教学中，确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式，指导学生更快的掌握技能知识，成就上万个高薪就业学子。【报名方式、详情咨询报名方式、详情咨询】光环大数据官方网站报名：光环大数据官方网站报名：http:/hadoop.aura.cn/http:/hadoop.aura.cn/手机报名链接：手机报名链接：http:/http:/ hadoop.aura.cnhadoop.aura.cn /mobile/mobile/