2018年详细的Hadoop环境搭建_光环大数据培训

光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn20182018 年详细的年详细的 HadoopHadoop 环境搭建环境搭建_ _光环大数据培训光环大数据培训hadoop 在大数据技术体系中的地位至关重要，Hadoop 是大数据技术的基础，对 Hadoop 基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。这是一篇入门文章，Hadoop 的学习方法很多，网上也有很多学习路线图。本文的思路是：以安装部署 Apache Hadoop2.x 版本为主线，来介绍Hadoop2.x 的架构组成、各模块协同工作原理、技术细节。 安装不是目的，通安装不是目的，通过安装认识过安装认识 Hadoop 才是目的。才是目的。本文分为五个部分、十三节、四十九步。第一部分：第一部分：Linux 环境安装环境安装Hadoop 是运行在 Linux，虽然借助工具也可以运行在 Windows 上，但是建议还是运行在 Linux 系统上，第一部分介绍 Linux 环境的安装、配置、Java JDK 安装等。第二部分：第二部分：Hadoop 本地模式安装本地模式安装Hadoop 本地模式只是用于本地开发调试，或者快速安装体验 Hadoop，这部分做简单的介绍。第三部分：第三部分：Hadoop 伪分布式模式安装伪分布式模式安装学习 Hadoop 一般是在伪分布式模式下进行。这种模式是在一台机器上各个进程上运行 Hadoop 的各个模块，伪分布式的意思是虽然各个模块是在各个进程上分开运行的，但是只是运行在一个操作系统上的，并不是真正的分布式。第四部分：完全分布式安装第四部分：完全分布式安装完全分布式模式才是生产环境采用的模式，Hadoop 运行在服务器集群上，生产环境一般都会做 HA，以实现高可用。第五部分：第五部分：Hadoop HA 安装安装HA 是指高可用，为了解决 Hadoop 单点故障问题，生产环境一般都做 HA 部署。这部分介绍了如何配置 Hadoop2.x 的高可用，并简单介绍了 HA 的工作原理。 安装过程中，会穿插简单介绍涉及到的知识。希望能对大家有所帮助。光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn第一部分：第一部分：Linux 环境安装环境安装第一步、配置第一步、配置 Vmware NAT 网络网络一、Vmware 网络模式介绍二、NAT 模式配置NAT 是网络地址转换，是在宿主机和虚拟机之间增加一个地址转换服务，负责外部和虚拟机之间的通讯转接和 IP 转换。我们部署 Hadoop 集群，这里选择 NAT 模式，各个虚拟机通过 NAT 使用宿主机的 IP 来访问外网。我们的要求是集群中的各个虚拟机有固定的 IP、可以访问外网，所以进行如下设置：1、 Vmware 安装后，默认的 NAT 设置如下：2、 默认的设置是启动 DHCP 服务的，NAT 会自动给虚拟机分配 IP，但是我们需要将各个机器的 IP 固定下来，所以要取消这个默认设置。3、 为机器设置一个子网网段，默认是 192.168.136 网段，我们这里设置为100 网段，将来各个虚拟机 Ip 就为 192.168.100.*。4、 点击 NAT 设置按钮，打开对话框，可以修改网关地址和 DNS 地址。这里我们为 NAT 指定 DNS 地址。5、 网关地址为当前网段里的.2 地址，好像是固定的，我们不做修改，先记住网关地址就好了，后面会用到。第二步、安装第二步、安装 Linux 操作系统操作系统三、Vmware 上安装 Linux 系统1、 文件菜单选择新建虚拟机光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn2、 选择经典类型安装，下一步。3、 选择稍后安装操作系统，下一步。4、 选择 Linux 系统，版本选择 CentOS 64 位。5、 命名虚拟机，给虚拟机起个名字，将来显示在 Vmware 左侧。并选择Linux 系统保存在宿主机的哪个目录下，应该一个虚拟机保存在一个目录下，不能多个虚拟机使用一个目录。6、 指定磁盘容量，是指定分给 Linux 虚拟机多大的硬盘，默认 20G 就可以，下一步。7、 点击自定义硬件，可以查看、修改虚拟机的硬件配置，这里我们不做修改。8、 点击完成后，就创建了一个虚拟机，但是此时的虚拟机还是一个空壳，没有操作系统，接下来安装操作系统。9、 点击编辑虚拟机设置，找到 DVD，指定操作系统 ISO 文件所在位置。10、 点击开启此虚拟机，选择第一个回车开始安装操作系统。11、 设置 root 密码。12、 选择 Desktop，这样就会装一个 Xwindow。光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn13、 先不添加普通用户，其他用默认的，就把 Linux 安装完毕了。四、设置网络因为 Vmware 的 NAT 设置中关闭了 DHCP 自动分配 IP 功能，所以 Linux 还没有 IP，需要我们设置网络各个参数。1、 用 root 进入 Xwindow，右击右上角的网络连接图标，选择修改连接。2、 网络连接里列出了当前 Linux 里所有的网卡，这里只有一个网卡 System eth0，点击编辑。3、 配置 IP、子网掩码、网关（和 NAT 设置的一样）、DNS 等参数，因为NAT 里设置网段为 100.*，所以这台机器可以设置为 192.168.100.10 网关和NAT 一致，为 192.168.100.24、 用 ping 来检查是否可以连接外网，如下图，已经连接成功。五、修改 Hostname1、 临时修改 hostnameemail protected Desktop# hostname bigdata-senior01.chybinmy.com这种修改方式，系统重启后就会失效。2、 永久修改 hostname想永久修改，应该修改配置文件 /etc/sysconfig/network。命令：rootbigdata-senior01 vim /etc/sysconfig/network光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn打开文件后，NETWORKING=yes #使用网络 HOSTNAME=bigdata-senior01.chybinmy.com #设置主机名六、配置 Host命令：email protected vim /etc/hosts 添加 hosts: 192.168.100.10 bigdata-senior01.chybinmy.com七、关闭防火墙学习环境可以直接把防火墙关闭掉。(1) 用 root 用户登录后，执行查看防火墙状态。email protected hadoop# service iptables status(2) 用email protected hadoop# service iptables stop 关闭防火墙，这个是临时关闭防火墙。email protected hadoop-2.5.0# service iptables stopiptables: Setting chains to policy ACCEPT: filter OK iptables: Flushing firewall rules: OK iptables: Unloading modules: OK (3) 如果要永久关闭防火墙用。email protected hadoop# chkconfig iptables off关闭，这种需要重启才能生效。八、关闭 selinuxselinux 是 Linux 一个子安全机制，学习环境可以将它禁用。email protected hadoop-2.5.0$ vim /etc/sysconfig/selinux# This file controls the state of SELinux on the system.# SELINUX= can take one of these three values:# enforcing - SELinux security policy is enforced.# permissive - SELinux prints warnings instead of enforcing.光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn# disabled - No SELinux policy is loaded.SELINUX=disabled# SELINUXTYPE= can take one of these two values:# targeted - Targeted processes are protected,# mls - Multi Level Security protection.SELINUXTYPE=targeted第三步、安装第三步、安装 JDK九、安装 Java JDK1、 查看是否已经安装了 java JDK。email protected Desktop# java version注意：Hadoop 机器上的 JDK，最好是 Oracle 的 Java JDK，不然会有一些问题，比如可能没有 JPS 命令。 如果安装了其他版本的 JDK，卸载掉。2、 安装 java JDK(1) 去下载 Oracle 版本 Java JDK：jdk-7u67-linux-x64.tar.gz(2) 将 jdk-7u67-linux-x64.tar.gz 解压到/opt/modules 目录下email protected /# tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules(3) 添加环境变量设置 JDK 的环境变量 JAVA_HOME。需要修改配置文件/etc/profile，追加export JAVA_HOME=“/opt/modules/jdk1.7.0_67“export PATH=$JAVA_HOME/bin:$PATH修改完毕后，执行 source /etc/profile(4)安装后再次执行 java version,可以看见已经安装完成。email protected