Hadoop YARN学习技术分享_光环大数据培训
-
资源ID:49596461
资源大小:40.63KB
全文页数:4页
- 资源格式: DOCX
下载积分:0金贝
快捷下载
![游客一键下载](/images/hot.gif)
账号登录下载
微信登录下载
微信扫一扫登录
1、金锄头文库是“C2C”交易模式,即卖家上传的文档直接由买家下载,本站只是中间服务平台,本站所有文档下载所得的收益全部归上传人(卖家)所有,作为网络服务商,若您的权利被侵害请及时联系右侧客服;
2、如你看到网页展示的文档有jinchutou.com水印,是因预览和防盗链等技术需要对部份页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有jinchutou.com水印标识,下载后原文更清晰;
3、所有的PPT和DOC文档都被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;下载前须认真查看,确认无误后再购买;
4、文档大部份都是可以预览的,金锄头文库作为内容存储提供商,无法对各卖家所售文档的真实性、完整性、准确性以及专业性等问题提供审核和保证,请慎重购买;
5、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据;
6、如果您还有什么不清楚的或需要我们协助,可以点击右侧栏的客服。
|
下载须知 | 常见问题汇总
|
Hadoop YARN学习技术分享_光环大数据培训
光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cnHadoopHadoop YARNYARN 学习技术分享学习技术分享_ _光环大数据培训光环大数据培训很多人提到 Hadoop 首先想到的是 Map/Reduce,其实从 2.0 开始 Hadoop 已经从单纯的分布式 M/R 计算框架变成了 通用分布式框架 。上图是 Hadoop2.0 的技术栈,在 Hadoop 2.0 中 Hadoop 底层划分为 YARN 和 HDFS两个部分。YARN 提供了集群资源管理,HDFS 提供了分布式存储。在此之上开发出来的应用被称为 Application ,MapReduce 就是其中的一个 Application。需要注意的是:YARN 和 HDFS 没有任何关系,甚至连代码都是可以彼此独立编译的;YARN 和 MapReduce 也是彻底解耦的,绝对不存在“YARN 为了 M/R 做了特殊优化“的说法;基于 YARN 我们可以开发自己的 Application,比如 Spark 就属于 YARN 上的一个Application。当然这个 Application 可以和 HDFS 没有关系也可以和 M/R 没有关系;所以 Hadoop2.0 本质上是一个技术框架(Framework),最重要的核心组件是YARN,基于 YARN 你可以轻松开发一个 分布式系统 。YARNYARN(Yet Another Resource Negotiator)是一个分布式资源管理框架,可以把它理解为一种基础设施提供了资源分配、调度、执行环境的基础设施(听起来像不像分布式操作系统)。ResourceManager,整个集群中只能有一个它掌握了整个集群的资源分布情况,响光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn应资源申请,为 Application 分配资源。下图是 ResourceManager 的三大功能NodeManager,整个集群中可以有多个 NodeManager,它启动之后会向ReosurceManager 报告自己的资源情况。当 ResourceManager 把程序丢过来的时候它会为程序提供一个运行环境(Container)。NodeManager 并没有限制 Container 的实现 是什么,它内置了两种实现DefaultContainerExecutor 是基于 JVM 的 Container,NodeManager 会为每个程序开辟吃一个新的进程;LinuxContainerExecutor 基于 CGroup 实现的 Container,NodeManager 会利用 Linux的 CGroup 为了每个应用提供运行环境。YARN 出现的要比 Docker 早,所以它是直接使用的CGroup 而没有采用 Docker。幸运的是从 Hadoop 2.6 开始已经提供DockerContainerExecutor。 举个生活中的例子,你现在是一名拥有百套固定资产的房东,本来期望的的生活是撩妹->收房租->撩妹,结果发现自己每天忙着帮房客找适合它的房子、安排房客入驻或者安排房客搬出之类的破事。撩妹什么的大事情根本没有精力去做,所以现在是时候做出改变了! 我们可以把你的 百套固定资产 看成资源池,你是 资源拥有者(ReosurceManager) , 房客(Application) 是申请资源的人,为了便于管理每个小区安排一个 代理人(NodeManager) 。你有一个小本本上面记录了每个小区入住了哪些人,有多少空房,这些信息都是 代理人 每天向你报告的。当 房客 找你租房的时候你只要看一眼小本本,然后把 代理人(NodeManager) 的联系方式给 房客就行了。YARN Application 工作原理YARN 采用的是二级资源分配,它的工作过程要比上面的描述复杂的多。为了更加详细的解释 YARN Application 的工作原理我们来看一张官方的图这幅图里面有两个 Application,一个颜色是粉红色的一个是紫色,两个并没有什么区别,粉红色的占用资源比较多,紫色的比较少,我们关注紫色的。 先看蓝色的线,NodeManager 启动之后会向 ResourceManager 报告自己的资源分配情况 再看黑色的虚线光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cnClient(其实就是 Application)会先向 ResourceManager 申请 提交应用(SubmitApplication) ,ResourceManager 会返回集群中所有可用资源;Client 申请一个Container 用来运行 ApplicationMaseter 的部分,ResourceManager 选择一份资源把任务下发到 NodeManager(Client 到 ResourceManager 的虚线)NodeManager 会启动一个 Container 来执行 ApplicationMaster(图中对应紫色 App Mstr)。至此,一级资源分配完毕,接下来的工作是 ApplicationMaster 和ResourceManager 交互完成剩余资源申请工作。ApplicationMaster 向 ResourceManager 申请资源用于执行实际计算任务。ResourceManager 会根据情况返回可用的资源(所有的申请未必全部满足),ApplicationMaster 也会根据实际情况决定是否使用申请到的资源。(图中紫色 App Mstr 到ResourceManager 的黑色虚线)ApplicaitonMaster 申请到的资源依然交给 NodeManager 处理,它会启动 Container用来执行计算任务。(图中紫色 App Mastr 到紫色 Container 的黑线)总结下来其实就一句话两级资源调度会先分配你 一份计算资源 ,这份计算资源用来跑的程序会尝试申请更多份计算资源。两级资源调度可以提高系统资源利用率。系统的资源是动态变化的,每隔一段时间就要分配新的计算或者释放计算资源,一个Application 的资源需求不可能被一次性满足,两级调度会先尝试分配一部分资源给Application 以保证 Application 可以正常运行。接下来有新的资源会为 Applicaiton 追加新的资源。分布式资源管理框架光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn看到网上有一些对比 YARN 和 mesos 的文章会说 YARN 是专门为 M/R 量身定制的或者说不支持两级调度 。其实这些说法都不正确,YARN 是一个纯粹的分布式资源管理框架它和 M/R 并没有任何直接关系。我们可以基于 YARN 开发自己的 Application,比如 Spark就是很好的例子。后面的文章我会尝试和大家一起开发一个真正的 YARN Application,我们会发现 Hadoop YARN 带给我们的惊喜。为什么大家选择为什么大家选择光环大数据光环大数据!大数据培训、人工智能培训、Python 培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训,就选光环大数据!光环大数据,聘请专业的大数据领域知名讲师,确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术,将前沿技能融入教学中,确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式,指导学生更快的掌握技能知识,成就上万个高薪就业学子。【报名方式、详情咨询报名方式、详情咨询】光环大数据官方网站报名:光环大数据官方网站报名:http:/hadoop.aura.cn/http:/hadoop.aura.cn/手机报名链接:手机报名链接:http:/http:/ hadoop.aura.cnhadoop.aura.cn /mobile/mobile/