Hadoop培训技术分享 Hadoop-2.6.4完全分布式搭建_光环大数据培训

1、 光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/ 光环大数据光环大数据 http:/HadoopHadoop 培训技术分享培训技术分享 Hadoop-2.6.4Hadoop-2.6.4 完全分布式搭建完全分布式搭建_ _光环大数据培训光环大数据培训资源准备准备 4 台 Linux 服务器要求：glibc 版本 = 2.14192.168.9.1192.168.9.2192.168.9.3192.168.9.4下载： hadoop-2.6.4服务器配置4 台服务器分别创建用户 hadoopemail protected# useradd hadoopemail protected# echo hadoop | passwd -stdin hadoop4 台服务器分别配置 hostsemail protected# vi /etc/hosts添加内容如下：192.168.9.1 master192.168.9.2 secmaster光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/ 光环大数据光环大数据 http:/192.168.9.3 sla

2、ve0192.168.9.4 slave1master 主机免密码登陆其他主机配置在各个主机上生成 SSH 密钥email protected$ ssh-keygen -t rsa -P -f /.ssh/id_rsa在 master 主机上 copy 公钥email protected$ ssh-copy-id -i secmaster 输入密码：hadoop 即 copy 公钥成功email protected$ ssh-copy-id -i slave0 输入密码：hadoop 即 copy 公钥成功email protected$ ssh-copy-id -i slave1 输入密码：hadoop 即 copy 公钥成功测试 ssh 免登陆在 192.168.9.1 主机上执行如下命令确保 master 可以实现对其他主机的免密码登陆，首次执行需要输入“yes“ 确认email protected$ ssh secmasteremail protected$ ssh slave0email protected$ ssh slave1hadoop 自身配置光环大数据光环大数据-大

3、数据培训知名品牌大数据培训知名品牌http:/ 光环大数据光环大数据 http:/在 master(192.168.9.1) 主机上解压 hadoop-2.6.4.tar.gzemail protected$ tar xvf hadoop-2.6.4.tar.gz配置 etc/hadoop/core-site.xmlfs.default.name hdfs:/master:9000 io.file.buffer.size 131072 hadoop.tmp.dir /home/hadoop/tmp hadoop.proxyuser.u0.hosts * hadoop.proxyuser.u0.groups * 配置 etc/hadoop/hdfs-site.xmldfs.replication 2 dfs.namenode.secondary.http-address secmaster:9001 dfs.namenode.name.dir file:/home/hadoop/dfs/name dfs.datanode.data.dir file:/home/hadoop/dfs/da

4、ta dfs.webhdfs.enabled true配置 etc/hadoop/mapred-site.xmlmapreduce.framework.name yarn 光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/ 光环大数据光环大数据 http:/mapreduce.jobhistory.address master:10020 mapreduce.jobhistory.webapp.address master:19888 配置 etc/hadoop/yarn-site.xmlyarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler yarn.resourcemanager.address master:8032 yarn.resourcemanager.scheduler.address master:8030 yarn.reso

5、urcemanager.resource-tracker.address master:8031 yarn.resourcemanager.admin.address master:8033 yarn.resourcemanager.webapp.address master:8088 Master 向各个节点同步配置完毕后的 hadoop 工程email protected$ scp -r /home/hadoop/hadoop-2.6.4 email protected:/home/hadoopemail protected$ scp -r /home/hadoop/hadoop-2.6.4 email protected:/home/hadoop光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/ 光环大数据光环大数据 http:/email protected$ scp -r /home/hadoop/hadoop-2.6.4 email protected:/home/hadoop格式化 namenode，启动 hadoop 所有组件email protected$ bin/hadoop namenode -formatemail protected$ sbin/start-all.sh如果不出意外完全分布式的 hadoop cluster 已经运行起来了_为什么大家选择为什么大家选择光环大数据光环大数据！大数据培训、人工智能培训、Python 培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请专业的大数据领域知名讲师，确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术，将前沿技能融入教学中，确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式，指导学生更快的掌握技能知识，成就上万个高薪就业学子。【报名方式、详情咨询报名方式、详情咨询】光环大数据官方网站报名：光环大数据官方网站报名：http:/ /mobile/mobile/

《Hadoop培训技术分享 Hadoop-2.6.4完全分布式搭建_光环大数据培训》由会员gua****an分享，可在线阅读，更多相关《Hadoop培训技术分享 Hadoop-2.6.4完全分布式搭建_光环大数据培训》请在金锄头文库上搜索。