Hadoop框架基础分享_光环大数据培训
13页1、 光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/ 光环大数据光环大数据 http:/HadoopHadoop 框架基础分享框架基础分享_ _光环大数据培训光环大数据培训已经部署了 Hadoop 的完全分布式集群,我们知道 NameNode 节点的正常运行对于整个 HDFS 系统来说非常重要,如果 NameNode 宕掉了,那么整个HDFS 就要整段垮掉了,所以人类思考,能不能让世界多一点爱:),我们能不能弄个备用的 NameNode,一旦正在使用的 NameNode 原地爆炸了,另一台备用的 NameNode 能立刻代替原先 NameNode 的位置,继续让 HDFS系统正常运行?(同理,ResourceManager 也是可以的。)世界果然充满爱,动物管理员横空出世zookeeper 框架* ZooKeeper这个框架的翻译为动物园管理员,想想其实是有道理的,大数据领域,Hadoop 框架是大象,Hive 框架是蜜蜂(为啥是个大象头哎喂?),Pig 框架是猪,都是人类的好朋友,所以有个动物管理员也不差异。接下来简单介绍一下 zookeeper 框架。光环大数据
2、光环大数据-大数据培训知名品牌大数据培训知名品牌http:/ 光环大数据光环大数据 http:/* zookeeper 功能:* 统一命名服务(Name Service)* 配置管理(Configuration Management)* 集群管理(Group Membership)* 共享锁(Locks)/同步锁* zookeeper 简述:apache 开源项目,提供分布式集群,属于 Hadoop 底下的一个分支,为分布式应用提供协调服务,官方网站:zookeeper.apache.org,zookeeper 服务器为奇数个,即 2n+1 个服务器,允许有 n 个机器宕机,不影响整个系统的运行。比如:3 台机器,其中有 1 台机器宕机,且存活的 Server 的数目不得少于n+1.,不会影响整个系统运行。 zookeeper 集群会选择出一个 leader 服务器,光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/ 光环大数据光环大数据 http:/其他服务器角色是 follower,它使用的 FastLeaderELection 选举算法是类fast paoxs
3、 的算法(有兴趣的可以周边查阅下),投票数量结果过半的服务器选为 leader 服务器。* zookeeper 原理简述当 leader 崩溃或者 leader 失去大多数的 follower,这时候 zookeeper 进入恢复模式,恢复模式需要重新选举出一个新的 leader,让所有的 Server 都恢复到一个正确的状态,系统默认的选举算法为 fast paxos。* zookeeper 的 Fast Leader 选举机制首先介绍几个概念服务器 ID比如有三台服务器,编号分别是 1,2,3。光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/ 光环大数据光环大数据 http:/编号越大在选择算法中的权重越大。数据 ID服务器中存放的最大数据 ID.值越大说明数据越新,在选举算法中数据越新权重越大。逻辑时钟或者叫投票的轮数,同一轮投票过程中的逻辑时钟值是相同的。每投完一轮票这个数据就会增加,然后与接收到的其它服务器返回的投票信息中的数值相比,根据不同的值做出不同的判断。选举状态LOOKING,竞选状态。光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌h
4、ttp:/ 光环大数据光环大数据 http:/FOLLOWING,随从状态,同步 leader 状态,参与投票。OBSERVING,观察状态,同步 leader 状态,不参与投票。LEADING,领导者状态。选举消息内容在投票完成后,需要将投票信息发送给集群中的所有服务器,它包含如下内容。服务器 ID数据 ID光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/ 光环大数据光环大数据 http:/逻辑时钟(或者理解为选举轮数,从 0 开始递增)选举状态开始投票:1、恢复数据zookeeper 服务器中的每份数据,都有一个对应的 id 值,这个值是依次递增的,越新的数据,对应的 ID 值就越大,所以先把数据恢复到最新。2、广播投票到其他服务器恢复数据到最新之后,每个 zookeeper 服务器发送自己选举的 leader(崭新状态首次投票推选自己),这个协议中包含了以下几部分的数据:光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/ 光环大数据光环大数据 http:/* 当前的服务器的 id,即 sid* 当前服务器的最大的数据 id,这个值大的服务
《Hadoop框架基础分享_光环大数据培训》由会员gua****an分享,可在线阅读,更多相关《Hadoop框架基础分享_光环大数据培训》请在金锄头文库上搜索。
做运营60%靠思维,40%靠经验,你的思维跟得上吗_光环大数据培训
长沙BI大数据培训_BI大数据工程师需要具备哪些高薪技能_光环大数据培训
智慧交通大数据平台搭建过程及应用案例_光环大数据培训
在DevOps中以API看待共享数据库_光环大数据培训
怎样才能成为一个高级Java工程师 —光环java培训机构
这可能是一篇数据化运营的大纲_光环大数据培训
自学大数据能找到工作吗_光环大数据培训
长沙大数据公司有哪些 参加大数据培训有钱途吗_光环大数据培训
中国大数据成熟盈利模型尚未建立_光环大数据培训
针对 MySQL 大规模数据库的性能和伸缩性的优化_光环大数据培训
怎样做数据分析_数据分析方法大全
怎么学习数据分析_数据分析软件汇总
怎样成为数据分析师_光环数据分析师培训
在大数据迅猛发展的今天隐私保护成了难题_光环大数据推出AI智客计划送2000助学金
长沙cpda数据分析培训_cpda考试流程
运营之道,千变万化,存乎一心_光环大数据培训
在Hadoop上运行Docker容器的六大陷阱_光环大数据培训
云计算平台点兵 谁在用AWS 谁在用Azure_光环大数据培训
自学java编程语言和参加java培训哪个更有前途—光环java培训机构
最用心的运营数据指标解读_光环大数据培训
2023-12-02 7页
2023-07-25 5页
2023-02-08 11页
2023-11-21 5页
2023-06-01 10页
2023-07-27 10页
2023-01-04 7页
2022-11-03 3页
2024-02-05 4页
2023-02-26 4页