Hadoop安装部署手册

1 安装环境介绍1.1 软件环境1） CentOS6.5 x642） Jdk 1.7 x643） Hadoop 2.6.2 x644） Hbase-0.98.95） Zookeeper-3.4.61.2 集群环境集群中包括3个节点：1个Master，2个Slave机器名称IP地址HadoopZooKeepermyidHbaseMaster.Hadoop10.1.11.150NameNodeserver.11HMaserSlave1.Hadoop 10.1.11.151 DataNodeserver.22HRegionServerSlave2.Hadoop 10.1.11.152 DataNodeserver.33HRegionServer2 安装前的准备1.2.2.1.2.1 下载JDKhttp:/www.oracle.com/technetwork/java/javase/downloads/index.htmlhttp:/download.oracle.com/otn-pub/java/jdk/7u71-b14/jdk-7u71-linux-x64.tar.gz2.2 下载Hadoophttp:/apache.fayea.com/hadoop/commonhttp:/apache.fayea.com/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gzhttp:/apache.fayea.com/hadoop/common/hadoop-2.6.0/hadoop-2.6.0-src.tar.gzhadoop-2.6.0.tar.gz是发行包，但只有32位hadoop-2.6.0-src.tar.gz是源码包，用于自己编译成64位版本2.3 下载Zookeeperhttp:/apache.fayea.com/zookeeper/http:/apache.fayea.com/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz2.4 下载Hbasehttp:/apache.fayea.com/hbase/http:/apache.fayea.com/hbase/hbase-0.98.9/hbase-0.98.9-hadoop2-bin.tar.gz3 开始安装3.1 CentOS安装配置1） 安装3台CentOS6.5 x64（使用Basic Server模式，其他使用默认配置，安装过程略）2） Master.Hadoop配置a) 配置网络vi /etc/sysconfig/network-scripts/ifcfg-eth0修改为：DEVICE=eth0ONBOOT=yesBOOTPROTO=staticIPADDR=10.1.11.150NETMASK=255.255.255.0GATEWAY=10.1.11.254保存，退出（esc+:wq+enter），使配置生效service network restartb) 配置主机名vi /etc/sysconfig/networkNETWORKING=yesHOSTNAME=Master.Hadoop修改为：保存，退出（esc+:wq+enter），使配置生效hostname Master.Hadoopc) 配置hostsvi /etc/hosts修改为：10.1.11.150 Master.Hadoop10.1.11.151 Slave1.Hadoop10.1.11.152 Slave2.Hadoopd) 关闭系统防火墙service iptables stopchkconfig iptables offe) 禁止SELINUXvi /etc/sysconfig/selinux修改为：#SELINUX=enforcingSELINUX=disabledf) 调整系统文件限制vi /etc/security/limits.conf在最后增加如下内容* soft nofile 65535* hard nofile 65535vi /etc/pam.d/login修改以下文件：增加如下内容：session required /lib/security/pam_limits.so以上调整，需要重启系统才能生效g) 配置用户新建hadoop用户和组，设置hadoop用户密码groupadd hadoopuseradd hadoop -g Hadooppasswd hadooph) 无密码密钥对切换到hadoop用户，生成密码对su Hadoopssh-keygen -t rsa -P ''生成其无密码密钥对，询问其保存路径时直接回车采用默认路径。生成的密钥对：id_rsa和id_rsa.pub，默认存储在"/home/hadoop/.ssh"目录下。a) 把id_rsa.pub追加到授权的key里面去cat /.ssh/id_rsa.pub >> /.ssh/authorized_keysb) 修改.ssh目录的权限以及authorized_keys 的权限chmod 600 /.ssh/authorized_keysc) 用root用户登录服务器修改SSH配置文件"/etc/ssh/sshd_config"的下列内容su rootvi /etc/ssh/sshd_config其中三行内容改为启用，如下所示RSAAuthentication yesPubkeyAuthentication yesAuthorizedKeysFile .ssh/authorized_keys保存，退出（esc+:wq+enter），重新启动SSH服务，使设置生效service sshd restart3） Slave1.Hadoop、Slave1.Hadoop配置相同的方式配置Slave1和Slave2的IP地址，主机名和hosts文件，新建hadoop用户和组及用户密码等等操作机器名称IP地址Slave1.Hadoop 10.1.11.151 Slave2.Hadoop 10.1.11.152 3.2 无密码登陆配置1） 配置Master无密码登录所有Slavea) 使用hadoop用户登陆Master.Hadoopb) 把公钥复制所有的Slave机器上。使用下面的命令格式进行复制公钥scp /.ssh/id_rsa.pub hadoopSlave1.Hadoop:/scp /.ssh/id_rsa.pub hadoopSlave2.Hadoop:/c) 在Slave机器上进行配置cat /id_rsa.pub >> /.ssh/authorized_keysrm r /id_rsa.pub测试Master到Slave的ssh登陆ssh Slave1.Hadoop2） 配置Slave无密码登录Mastera) 使用hadoop用户登陆Slaveb) 把公钥复制Master机器上。使用下面的命令格式进行复制公钥scp /.ssh/id_rsa.pub hadoopMaster.Hadoop:/c) 在Master机器上将公钥追加到authorized_keys中cat /id_rsa.pub >> /.ssh/authorized_keysrm r /id_rsa.pub测试Slave到Master的ssh登陆ssh Master.Hadoop3.3 安装JDK所有的机器上都要安装JDK，先在Master服务器安装，然后其他服务器按照步骤重复进行即可。安装JDK以及配置环境变量，需要以"root"的身份进行。1） 将jdk安装包jdk-7u71-linux-x64.tar.gz上传到服务器/usr/local/目录下2） 解压缩文件cd /usr/localtar zxvf jdk-7u71-linux-x64.tar.gz3） 配置环境变量vi /etc/profile增加如下内容：export JAVA_HOME=/usr/local/jdk1.7.0_71export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jarexport PATH=$PATH:$JAVA_HOME/binsource /etc/profile保存，退出（esc+:wq+enter），使配置生效java version4） 验证是否安装成功rm f jdk-7u71-linux-x64.tar.gz5） 删除jdk的安装包scp -r /usr/local/jdk1.7.0_71 rootSlave1.Hadoop:/usr/local/scp -r /usr/local/jdk1.7.0_71 rootSlave2.Hadoop:/usr/local/6） 在Slave上重复以上步骤，安装JDK（以下为从Master复制jdk到Slave）3.4 安装Hadoop因为官网没有64位版的haoop2.6.0发行包，需要手动由源代码编译（编译过程另附文件说明），编译后的文件为hadoop-2.6.0.tar.gz，以下使用root身份进行安装。1） 将hadoop安装包hadoop-2.6.0.tar.gz上传到服务器/usr/local/目录下2） 解压缩文件cd /usr/localtar zxvf hadoop-2.6.0.tar.gz3） 在"/usr/local/hadoop-2.6.0"下面创建tmp文件夹mkdir /usr/local/hadoop-2.6.0/tmp4） 编辑<HADOOP_HOME>/etc/hadoop/hadoop-env.shvi /usr/local/hadoop-2.6.0/etc/hadoop/hadoop-env.sh修改JAVA_HOME的配置：export JAVA_HOME=/usr/local/jdk1.7.0_715） 编辑<HADOOP_HOME>/etc/hadoop/core-site.xmlvi /usr/local/hadoop-2.6.0/etc/hadoop/core-site.xml修改为：<configuration><property> <name>fs.defaultFS</name> <value>hdfs:/Master.Hadoop:9000</value></property><property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop-2.6.0/tmp</value></p