快速搭建Hadoop伪分布式环境_光环大数据培训
光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn快速搭建快速搭建 HadoopHadoop 伪分布式环境伪分布式环境_ _光环大数据培训光环大数据培训本文旨在使用一个全新安装好的 Linux 系统从 0 开始进行 hadoop 伪分布式环境的搭建，以达到快速搭建的目的，从而体验 Hadoop 的魅力所在，为后面的继续学习提供基础环境。对使用的系统环境作如下说明：操作系统：CentOS 6.5 64 位主机 IP 地址：10.0.0.131/24主机名：leaf用户名：roothadoop 版本：2.6.5jdk 版本：1.7可以看到，这里直接使用 root 用户，而不是按照大多数的教程创建一个 hadoop 用户来进行操作，就是为了达到快速搭建 Hadoop 环境以进行体验的目的。为了保证后面的操作能够正常完成，请先确认本机是否可以解析到主机名 leaf，如果不能，请手动添加解析到/etc/hosts 目录中：email protected # echo “127.0.0.1 leaf“ >> /etc/hostsemail protected # ping 光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cnleafPING leaf (127.0.0.1) 56(84) bytes of data.64 bytes from localhost (127.0.0.1): icmp_seq=1 ttl=64 time =0.043 ms64 bytes from localhost (127.0.0.1): icmp_seq=2 ttl=64 time =0.048 ms64 bytes from localhost (127.0.0.1): icmp_seq=3 ttl=64 time =0.046 ms1.rsync 软件安装使用下面命令安装：email protected # yum install -y rsync2.ssh 安装与免密码登陆配置（1）ssh 安装使用下面命令安装email protected # yum install -y openssh-server openssh-clients（2）ssh 免密码登陆配置因为 Hadoop 使用 ssh 协议来管理远程守护进程，所以需要配置免密码登陆。关闭防火墙和 selinux为了确保能够成功配置，在配置前，先把防火墙和 selinux 关闭：# 关闭防火墙email protected # /etc/init.d/iptables stopemail protected # chkconfig -level 3 iptables off # 关闭 selinuxemail protected # setenforce 0email 光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cnprotected # sed -i s/SELINUX=enforcing/SELINUX=disabled/g /etc/selinux/config email protected # cat /etc/selinux/config | grep disabled# disabled - No SELinux policy is loaded.SELINUX=disabled生成密钥对email protected # mkdir .sshemail protected # ssh-keygen -t dsa -P '' -f .ssh/id_dsaGenerating public /private dsa key pair.Your identification has been saved in . ssh /id_dsa .Your public key has been saved in . ssh /id_dsa .pub.The key fingerprint is:5b:af:7c:45:f3:ff: dc :50:f5:81:4b:1e:5c:c1:86:90 email protectedThe key's randomart image is:+- DSA 1024-+| .o oo.| Eoo | =.| o = +| S . + oo| o . .| . . .| . oo| o. =|+-+将公钥添加到本地信任列表email protected # cat .ssh/id_dsa.pub >> .ssh/authorized_keys验证上面三步完成后就完成了免密码登陆的配置，可以使用下面的命令进行验证：email protected # ssh localhostThe authenticity of host 'localhost (:1)' can't be established.RSA key fingerprint is d1:0d:ed:eb:e7:d1:2f:02:23:70:ef:11:14:4e:fa:42.Are you sure you want to continue connecting ( yes /no )? yesWarning: Permanently added 'localhost' (RSA) to the list of known hosts.Last login: Wed Aug 30 04:28:01 2017 from 10.0.0.1email protected #光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn在第一次登陆的时候需要输入 yes，之后再登陆时就可以直接登陆了：email protected # ssh localhostLast login: Wed Aug 30 04:44:02 2017 from localhostemail protected #3.jdk 安装与配置（1）jdk 下载这里使用的是 jdk1.7 版本，可以到下面的网站进行下载：http:/www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html下载完成后，可以使用 winscp 上传到/root 目录下，如下：email protected # ls -lh jdk-7u80-linux-x64.tar.gz -rw-r-r-. 1 root root 147M Aug 29 12:05 jdk-7u80-linux-x64. tar .gz（2）jdk 安装将 jdk 解压到/usr/local 目录下，并创建软链接：email protected # cp jdk-7u80-linux-x64.tar.gz /usr/local/email protected # cd /usr/local/email protected local # tar -zxf jdk-7u80-linux-x64.tar.gz email protected local # ls -ld jdk1.7.0_80/drwxr-xr-x. 8 uucp 143 4096 Apr 11 2015 jdk1.7.0_80/email protected local # ln -s jdk1.7.0_80/ jdkemail protected local # ls -ld jdklrwxrwxrwx. 1 root root 12 Aug 30 04:56 jdk -> jdk1.7.0_80/光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn（3）JAVA_HOME 环境变量配置java 命令在/usr/local/jdk/bin 目录下：email protected local # cd jdk/bin/email protected bin # ls -lh java-rwxr-xr-x. 1 uucp 143 7.6K Apr 11 2015 java配置 java 环境变量：email protected bin # echo 'export JAVA_HOME=/usr/local/jdk/bin' >> /etc/profileemail protected bin # echo 'export PATH=$PATH:$JAVA_HOME' >> /etc/profileemail protected bin # source /etc/profile这样我们就可以在任何一个目录下使用 java 相关的命令：email protected # java -versionjava version “1.7.0_80“Java(TM) SE Runtime Environment (build 1.7.0_80-b15)Java HotSpot(TM) 64-Bit Server VM (build 24.80-b11, mixed mode)email protected # javac -versionjavac 1.7.0_804.hadoop 安装与配置（1）hadoop 下载这里使用 hadoop 2.6.5 版本，可以到下面的网站进行下载：http:/hadoop.apache.org/releases.html光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn选择 2.6.5 的 binary 进入相应的页面便可以下载，然后使用 winscp 上传到/root 目录下，如下：email protected # ls -lh hadoop-2.6.5.tar.gz -rw-r-r-.
