![](https://www.jinchutou.com/images/s.gif)
Hadoop YARN学习技术分享_光环大数据培训
4页1、 光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/ 光环大数据光环大数据 http:/HadoopHadoop YARNYARN 学习技术分享学习技术分享_ _光环大数据培训光环大数据培训很多人提到 Hadoop 首先想到的是 Map/Reduce,其实从 2.0 开始 Hadoop 已经从单纯的分布式 M/R 计算框架变成了 通用分布式框架 。上图是 Hadoop2.0 的技术栈,在 Hadoop 2.0 中 Hadoop 底层划分为 YARN 和 HDFS两个部分。YARN 提供了集群资源管理,HDFS 提供了分布式存储。在此之上开发出来的应用被称为 Application ,MapReduce 就是其中的一个 Application。需要注意的是:YARN 和 HDFS 没有任何关系,甚至连代码都是可以彼此独立编译的;YARN 和 MapReduce 也是彻底解耦的,绝对不存在“YARN 为了 M/R 做了特殊优化“的说法;基于 YARN 我们可以开发自己的 Application,比如 Spark 就属于 YARN 上的一个Application。当然这个
2、 Application 可以和 HDFS 没有关系也可以和 M/R 没有关系;所以 Hadoop2.0 本质上是一个技术框架(Framework),最重要的核心组件是YARN,基于 YARN 你可以轻松开发一个 分布式系统 。YARNYARN(Yet Another Resource Negotiator)是一个分布式资源管理框架,可以把它理解为一种基础设施提供了资源分配、调度、执行环境的基础设施(听起来像不像分布式操作系统)。ResourceManager,整个集群中只能有一个它掌握了整个集群的资源分布情况,响光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/ 光环大数据光环大数据 http:/应资源申请,为 Application 分配资源。下图是 ResourceManager 的三大功能NodeManager,整个集群中可以有多个 NodeManager,它启动之后会向ReosurceManager 报告自己的资源情况。当 ResourceManager 把程序丢过来的时候它会为程序提供一个运行环境(Container)。NodeManager 并没有限制
3、 Container 的实现 是什么,它内置了两种实现DefaultContainerExecutor 是基于 JVM 的 Container,NodeManager 会为每个程序开辟吃一个新的进程;LinuxContainerExecutor 基于 CGroup 实现的 Container,NodeManager 会利用 Linux的 CGroup 为了每个应用提供运行环境。YARN 出现的要比 Docker 早,所以它是直接使用的CGroup 而没有采用 Docker。幸运的是从 Hadoop 2.6 开始已经提供DockerContainerExecutor。 举个生活中的例子,你现在是一名拥有百套固定资产的房东,本来期望的的生活是撩妹-收房租-撩妹,结果发现自己每天忙着帮房客找适合它的房子、安排房客入驻或者安排房客搬出之类的破事。撩妹什么的大事情根本没有精力去做,所以现在是时候做出改变了! 我们可以把你的 百套固定资产 看成资源池,你是 资源拥有者(ReosurceManager) , 房客(Application) 是申请资源的人,为了便于管理每个小区安排一个 代理人(Nod
《Hadoop YARN学习技术分享_光环大数据培训》由会员gua****an分享,可在线阅读,更多相关《Hadoop YARN学习技术分享_光环大数据培训》请在金锄头文库上搜索。
![做运营60%靠思维,40%靠经验,你的思维跟得上吗_光环大数据培训](https://union.01img.goldhoe.com/2018-8/21/0b7235e3-34a5-49a4-8a3e-a8da76563c39/pic1.jpg)
做运营60%靠思维,40%靠经验,你的思维跟得上吗_光环大数据培训
![长沙BI大数据培训_BI大数据工程师需要具备哪些高薪技能_光环大数据培训](https://union.01img.goldhoe.com/2018-8/21/0ff17e71-53b4-4561-9577-a2281549c5ea/pic1.jpg)
长沙BI大数据培训_BI大数据工程师需要具备哪些高薪技能_光环大数据培训
![智慧交通大数据平台搭建过程及应用案例_光环大数据培训](https://union.01img.goldhoe.com/2018-8/21/a57e9ee3-69a5-4f4c-8ec8-8532ae4528d9/pic1.jpg)
智慧交通大数据平台搭建过程及应用案例_光环大数据培训
![在DevOps中以API看待共享数据库_光环大数据培训](https://union.01img.goldhoe.com/2018-8/21/031e9e7f-cb86-4c72-b76c-7efccb10f748/pic1.jpg)
在DevOps中以API看待共享数据库_光环大数据培训
![怎样才能成为一个高级Java工程师 —光环java培训机构](https://union.01img.goldhoe.com/2018-8/21/b95f9010-031b-41b4-b9c3-90d660dd0694/pic1.jpg)
怎样才能成为一个高级Java工程师 —光环java培训机构
![这可能是一篇数据化运营的大纲_光环大数据培训](https://union.01img.goldhoe.com/2018-8/21/d896cba5-ef23-41f9-b254-eea316e9b42c/pic1.jpg)
这可能是一篇数据化运营的大纲_光环大数据培训
![自学大数据能找到工作吗_光环大数据培训](https://union.01img.goldhoe.com/2018-8/21/631a5802-aae5-4be9-89fc-379995fffa1d/pic1.jpg)
自学大数据能找到工作吗_光环大数据培训
![长沙大数据公司有哪些 参加大数据培训有钱途吗_光环大数据培训](https://union.01img.goldhoe.com/2018-8/21/ddf4eaa9-953e-42bb-90b6-1ee0a1d9df9d/pic1.jpg)
长沙大数据公司有哪些 参加大数据培训有钱途吗_光环大数据培训
![中国大数据成熟盈利模型尚未建立_光环大数据培训](https://union.01img.goldhoe.com/2018-8/21/981852e0-f8b9-44c6-8c42-9792bf580d2f/pic1.jpg)
中国大数据成熟盈利模型尚未建立_光环大数据培训
![针对 MySQL 大规模数据库的性能和伸缩性的优化_光环大数据培训](https://union.01img.goldhoe.com/2018-8/21/3513ddf8-8552-4908-8134-eead7b09fcf2/pic1.jpg)
针对 MySQL 大规模数据库的性能和伸缩性的优化_光环大数据培训
![怎样做数据分析_数据分析方法大全](https://union.01img.goldhoe.com/2018-8/21/ba482dc7-af84-4190-9fb1-778eecc03fca/pic1.jpg)
怎样做数据分析_数据分析方法大全
![怎么学习数据分析_数据分析软件汇总](https://union.01img.goldhoe.com/2018-8/21/dab36795-39e7-4cbd-8e6a-ef594b7ed227/pic1.jpg)
怎么学习数据分析_数据分析软件汇总
![怎样成为数据分析师_光环数据分析师培训](https://union.01img.goldhoe.com/2018-8/21/b879a609-47ae-457b-8be4-00c3d8a93d46/pic1.jpg)
怎样成为数据分析师_光环数据分析师培训
![在大数据迅猛发展的今天隐私保护成了难题_光环大数据推出AI智客计划送2000助学金](https://union.01img.goldhoe.com/2018-8/21/ca6b376e-6fc0-4596-aa68-e734f08fd07a/pic1.jpg)
在大数据迅猛发展的今天隐私保护成了难题_光环大数据推出AI智客计划送2000助学金
![长沙cpda数据分析培训_cpda考试流程](https://union.01img.goldhoe.com/2018-8/21/cc3fbb63-9c08-4409-bdbc-bcb073fd3c4c/pic1.jpg)
长沙cpda数据分析培训_cpda考试流程
![运营之道,千变万化,存乎一心_光环大数据培训](https://union.01img.goldhoe.com/2018-8/21/9865ff58-54d0-4e30-93ef-2f00095e2b0d/pic1.jpg)
运营之道,千变万化,存乎一心_光环大数据培训
![在Hadoop上运行Docker容器的六大陷阱_光环大数据培训](https://union.01img.goldhoe.com/2018-8/21/753ac6ec-0a2b-419f-ac7c-85fd3cd223c4/pic1.jpg)
在Hadoop上运行Docker容器的六大陷阱_光环大数据培训
![云计算平台点兵 谁在用AWS 谁在用Azure_光环大数据培训](https://union.01img.goldhoe.com/2018-8/21/1614a99a-fdb9-41a7-b390-63aa3d827fe6/pic1.jpg)
云计算平台点兵 谁在用AWS 谁在用Azure_光环大数据培训
![自学java编程语言和参加java培训哪个更有前途—光环java培训机构](https://union.01img.goldhoe.com/2018-8/21/53bfd464-3df9-4dfd-90ef-d747aaae5283/pic1.jpg)
自学java编程语言和参加java培训哪个更有前途—光环java培训机构
![最用心的运营数据指标解读_光环大数据培训](https://union.01img.goldhoe.com/2018-8/21/83549da4-aeba-48a9-a6fb-b8368e219e06/pic1.jpg)
最用心的运营数据指标解读_光环大数据培训
![康定与《康定情歌》的不解之缘.doc](/Images/s.gif)
2023-12-02 7页
![(最新整理)店长岗位职责说明书](/Images/s.gif)
2023-07-25 5页
![2021年幼儿园小班第二学期教学工作计划](/Images/s.gif)
2023-02-08 11页
![2020年在职级晋升集体谈话会上的讲话](/Images/s.gif)
2023-11-21 5页
![2020部编版一年级语文上册单元知识点归类汇总](/Images/s.gif)
2023-06-01 10页
![小学生经典团队游戏和室内游戏](/Images/s.gif)
2023-07-27 10页
![电频车自动跟随系统.docx](/Images/s.gif)
2023-01-04 7页
![确山县第四初级中学“礼仪制度传播主流价值”活动报告;](/Images/s.gif)
2022-11-03 3页
![在新任科级干部任前集体廉政谈话会上的讲话](/Images/s.gif)
2024-02-05 4页
![医院反恐防暴演练方案](/Images/s.gif)
2023-02-26 4页