Hadoop2.7.3完全分布式集群搭建_光环大数据培训

光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cnHadoop2.7.3Hadoop2.7.3 完全分布式集群搭建完全分布式集群搭建_ _光环大数据培训光环大数据培训光环大数据培训光环大数据培训认为，集群如下：192.168.188.111 master192.168.188.112 slave1192.168.188.113 slave2一、环境配置一、环境配置1.修改修改 hosts 和和 hostname以 master 为例：修改 hostsemail protected # vim /etc/hosts192.168.188.111 master192.168.188.112 slave1192.168.188.113 slave2修改 hostnameemail protected # vim /etc/hostname同样地，在 slave1 和 slave2 做相同的 hostname 操作，分别命名为 slave1和 slave2.然后分别把 slave1 和 slave2 的 hosts 文件更改为和 master 一样。2.配免密登录配免密登录次文章重点不在配免密登录，所有略，可以看其他博客。3.配置环境变量配置环境变量email protected # vim /etc/profile光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn#javaexport JAVA_HOME=/root/package/jdk1.8.0_121export PATH=$PATH:$JAVA_HOME/bin#sparkexport SPARK_HOME=/root/package/spark-2.1.0-bin-hadoop2.7export PATH=$PATH:$SPARK_HOME/bin#ANACONDAexport ANACONDA=/root/anaconda2export PATH=$PATH:$ANACONDA/bin#HADOOPexport HADOOP_HOME=/root/package/hadoop-2.7.3export HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport YARN_HOME=$HADOOP_HOMEexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/binexport HADOOP_INSTALL=$HADOOP_HOME输入 source /etc/profile 使配置文件生效。email protected # source /etc/profile查看配置是否成功：输入 java -version出现以上信息则 Java 配置成功。二、二、hadoop 配置配置1.master 配置配置首先，安装 hadoop-2.7.3，我是直接在要安装的目录下解压，所有在 tar -zxvf 后边 没有输入其他的路径。email protected package# tar -zxvf hadoop-2.7.32.hadoop-env.sh 配置配置hadoop-2.7.3 的配置文件都在 /root/package/hadoop-2.7.3/etc/hadoop 下/root/package/hadoop-2.7.3/etc/hadoopemail protected hadoop# vim hadoop-env.sh修改 JAVA_HOME 值光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn# The java implementation to use.export JAVA_HOME=/root/package/jdk1.8.0_1213.yarn-env.sh 配置配置email protected hadoop# vim yarn-env.sh# some Java parametersexport JAVA_HOME=/root/package/jdk1.8.0_1214.修改修改 slavesemail protected hadoop# vim slaves将内容修改为slave1slave25.core-site.xml 配置配置fs.defaultFS hdfs:/10.10.11.181:9000 io.file.buffer.size 131072 hadoop.tmp.dir /hadoop/tmp 6.hdfs-site.xml 配置配置dfs.namenode.secondary.http-address10.10.11.181:50090 dfs.replication 3 dfs.namenode.name.dir file:/root/hadoop/hdfs/namenode/dfs/name dfs.datanode.data.dir file:/root/hadoop/hdfs/datanode/d光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cnfs/data dfs.webhdfs.enabled true 7.配置配置 mapred-site.xml先复制再修改email protected hadoop# cp mapred-site.xml.template mapred-site.xmlmapreduce.framework.name yarn mapreduce.jobhistory.address 192.168.188.111:10020 mapreduce.jobhistory.webapp.address 192.168.188.111:19888 8.yarn-site.xml 配置配置yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler yarn.resourcemanager.addressmaster:8032 yarn.resourcemanager.scheduler.address master:8030 yarn.resourcemanager.resource-tracker.address master:8031 yarn.resourcemanager.admin.address master:8033 yarn.resourcemanager.webapp.address master:8088 光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn9.然后把在然后把在 master 的配置拷贝到的配置拷贝到 slave1 和和 slave2 节点节点上上scp -r hadoop-2.7.3 email protected168.188.112:/root/package三、启动三、启动 hadoop1.格式化命令。因为已经配置了 hadoop 的环境变量，所以不一定非要在hadoop 的安装目录输入格式化命令。email protected sbin# hdfs namenode -format2.启动email protected sbin# start-all.sh四、用四、用 jps 查看结果查看结果启动后分别在 master 和 slave1 和 slave2 下查看进程。master 如下：slave1 如下：slave2 如下：则表示成功。五、界面查看验证五、界面查看验证输入 http:/192.168.188.111:8088/输入 http:/192.168.188.111:50070/光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn到此，hadoop-2.7.3 完全分布式集群搭建成功。为什么大家选择为什么大家选择光环大数据光环大数据！大数据培训、人工智能培训、Python 培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请专业的大数据领域知名讲师，确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术，将前沿技能融入教学中，确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式，指导学生更快的掌握技能知识，成就上万个高薪就业学子。【报名方式、详情咨询报名方式、详情咨询】光环大数据官方网站报名：光环大数据官方网站报名：http:/hadoop.aura.cn/http:/hadoop.aura.cn/手机报名链接：手机报名链接：http:/http:/ hadoop.aura.cnhadoop.aura.cn /mobile/mobile/