Hadoop伪分布式集群的安装部署

HadoopHadoop 伪分布式集群的安装部署伪分布式集群的安装部署 【摘要】 Hadoop 伪分布式集群的安装部署 Hadoop 伪分布式集群的安装部署首先可以为Linux 虚拟机搭建起来的最初状态做一个快照，方便后期搭建分布式集群时多台 Linux 虚拟机的准备。一、如何为虚拟机做快照? 1、什么是快照？ 快照就是对当前的虚拟机状态进行拍照，保留虚拟机当前状态的操作信息。 2、为什么要为虚拟机做快照？ 第一：为克隆不同状态的虚拟机提前做准备。 . Hadoop 伪分布式集群的安装部署 Hadoop 伪分布式集群的安装部署 首先可以为 Linux 虚拟机搭建起来的最初状态做一个快照，方便后期搭建分布式集群时多台Linux 虚拟机的准备。 一、如何为虚拟机做快照? 1、什么是快照？ 快照就是对当前的虚拟机状态进行拍照，保留虚拟机当前状态的操作信息。 2、为什么要为虚拟机做快照？ 第一：为克隆不同状态的虚拟机提前做准备。 第二：当对虚拟机的某些操作执行错误而且改正比较麻烦的时候，可以切换到之前正常的虚拟机状态重新进行相关的操作。 3、如何为虚拟机做快照？ （1）选择要克隆的虚拟机，然后“右键”，选择“快照”，然后选择“拍摄快照”。 （2）可以为快照取个名称，也可以为虚拟机当前的状态做个描述，然后点击“拍摄快照”。 4、如何转到某一特定状态的快照？ （1）选择对应状态的快照，然后点击“转到”。 （2）然后在接下来的弹框中点击“是”即可。这样简单操作之后，虚拟机就实现了快照状态的一个转换。 二、Linux 虚拟机的网络配置 （一）如何实现虚拟机和外网的连接 1、打开并登陆虚拟机 2、用 ifconfig 命令来查看网络接口配置信息，此时只能查到回环地址 127.0.0.1 和子网掩码 255.0.0.0。 3、做 3 个小测试 （1）ping 127.0.0.1（回环地址），如果能 ping 通，就说明虚拟机的网络协议是正常的（一般也是能 ping 通的）。注意：ping 通之后同时按“Ctrl” 和“C”即可断开连接。 （2）ping 网关 1）这里面就牵涉到一个问题：我的网关是多少？在哪里看？ 2）找到网关地址之后，然后开始 ping 网关。 一般第一次是 ping 不通的，那就说明我们的网卡链路是有问题的，所以我们需要查看网卡，找出问题的原因。那么这就又有两个问题： 第一，在哪里查看网卡信息？ 我们输入如下命令：vi /etc/sysconfig/network-scripts/ifcfg-eth0 即编辑/etc/sysconfig/network-scripts/目录下的 ifcfg-eth0 文件 小技巧：Tab 键的使用 输入命令前边的一部分，然后按一次 Tab 键，如果该命令没有其他相同开头的命令，则直接能补全该命令。如果不能补全，可以按两次 Tab 键，将会列出以输入字符开头的所有命令，凭印象输入对应命令即可。 这个命令要去记忆吗？要，但是不是每个字母都要记忆，只要记住个大概就行。只要记住哪个文件在哪个目录下，然后一个一个找就行了。一定要能够触类旁通。 第二，该如何配置网卡？ 进入文件之后，首先输入“i”进入文件编辑模式，然后把 ONBOOT=no 修改为 yes，然后按”Esc”键退出编辑模式，再接下来按“：wq”保存退出即可。 为什么要修改呢？ONBOOT=no 表示什么意思呢？ 实质上 ONBOOT=no 表示我们的网卡没有开启，所以我们要将 no 改为 yes,来开启网卡。 3）重启网络服务 OK，刚才我们修改了网卡的配置，所以这个时候我们需要重启网络服务。切记，每次修改网卡之后都需要重启网络服务，这样修改的配置才能生效。 如何重启网络服务呢？我们需要输入命令 service network restart 即可。重启成功的标志如下图。 下面我们再来 ping 一下网关，你会发现，已经能够成功的 ping 通网关了。 （3）ping IP 地址 1）我们继续输入 ifconfig 命令查看一下网络接口配置信息，我们发现多了一个eth0 的网卡，而且可以看到 ip 地址。 2）然后我们 ping IP 地址，如果能 ping 通，说明我们的本机网卡链路没有问题。我们发现是可以 ping 通的，如下图所示。 （4）ping 外网 我们输入命令 ping 来检查一下虚拟机和外部网络的连通性，如果能够 ping 通，就说明我们的虚拟机已经和互联网打通了。 （二）虚拟机静态 IP 的配置 在实际应用中，由于我们使用的是 DHCP（Dynamic Host Configuration Protocol：动态主机配置协议）服务器来分配的地址，那么每次重启 DHCP 服务器 ip 地址有可能是会变动的。 而我们用 Linux 来搭建集群学习 Hadoop 的话，是希望 IP 固定不变的，因为有很多地方会涉及到 IP 地址的配置，如果 IP 地址变化就会涉及到很多相关地方的修改，所以我们需要配置静态 IP，那么具体如何进行配置呢？ （1）在哪里配置？ 输入命令 vi /etc/sysconfig/network-scripts/ifcfg-eth0 （2）如何配置？ 具体配置如下图所示： 其中配置的属性和值的注释如下： BOOTPROTO=static /把 dhcp 修改为 static IPADDR=192.168.7x.133 /可以自己设置，但必须与 GATEWAY 网段一致，比如 7x NETMASK=255.255.255.0 /默认设置 GATEWAY=192.168.7x.2 /网关地址 （3）修改完之后需要重启网络服务，即输入命令 service network restart （4）重启成功之后，继续输入 ifconfig 查看一下 ip，这个时候 ip 地址就固定了。 三、创建其他用户及用户 sudo 权限的设置 （一）设置其他用户组和用户 1、为什么要进行用户组和用户的设置？ 默认只有一个 root 超级用户，它的权限是很大的，如果误删文件，整个系统的使用可能就会出现问题，存在很大的安全性问题，所以，我们需要单独创建用户，然后在该用户上进行相关的操作。（可能会出现一个问题，某些操作权限不够，只需要配置sudo 权限或切换到 root 用户下执行即可） 2、如何创建用户组和用户? （1）创建用户组：groupadd 比如创建 hadoop 用户组：groupadd hadoop （2）创建用户：useradd 比如创建 hadoop 用户：useradd hadoop 注意：1）默认创建用户的时候会同时创建一个同名的用户组，前边是用户，后边是用户组。 2）在任何目录下执行该命令都可以，最后创建的这个用户的目录是在 home 目录下,也就是说指不指定-m 参数效果都一样。 （3）查看帮助信息： useradd -help 一般情况下，哪个命令不知道怎么用，不知道使用哪个参数，就用“命令 -help” （4）切换用户：su 比如切换到 hadoop 用户：su hadoop 注意：root 用户向其他用户切换的时候不需要输入密码，但是其他用户向 root 用户切换或其他用户之间在切换的时候是需要输入密码，所以需要为用户设置密码。 （5）为用户设置密码：passwd 比如为 hadoop 用户设置密码：passwd hadoop，然后按回车输入两次密码即可，”password -help”查看该命令用法。 （二）为用户设置 sudo 权限 1、为什么要为用户设置 sudo 权限？ 用户在执行某些系统命令时会出现用户权限不够的问题，需要切换到 root 用户下执行，频繁的切换会很麻烦，而且也很容易导致权限问题。所以最好为用户配置 sudo 权限。所有的操作都可以在该用户下操作，出现权限不够的问题只需要在命令前边加上 sudo 即可。 2、如何为用户设置 sudo 权限？ 首先要明确是为哪个用户设置 sudo 权限。比如为 hadoop 用户设置 sudo 权限。 （1） 在 root 用户下，输入 visudo 即可。 （2） 在打开的文件末尾添加“hadoop ALL=(ALL) NOPASSWD:ALL”即可。 （3） 验证 sudo 权限是否配置成功 这样特定用户的 sudo 权限就配置成功了，接下来就可以正常使用 sudo 命令了。 四、X-shell 远程连接 Linux 虚拟机 由于直接在 Linux 虚拟机上操作比较不方便，所以我们选择使用第三方远程连接工具X-shell 远程连接到 Linux 虚拟机，然后通过 X-shell 对 Linux 虚拟机进行相关操作。 1、如何实现 X-Shell 和 Linux 虚拟机的远程连接？ （1）安装 X-Shell 远程连接工具 请点击此链接下载 X-Shell。 （2）实现 X-Shell 和 Linux 虚拟机的远程连接 1）首先打开 X-Shell 工具，然后在 X-Shell 和 Linux 虚拟机之间新建一个会话并做如下配置。 2） 配置完成之后点击“用户身份验证”，进行用户名和密码的配置。然后点击“确定”。配置成功之后再用 X-Shell 连接远程虚拟机，就不用输入用户名和密码了。 3） 选择对应的对话连接即可。 4）接下来就可以在 X-Shell 上进行相关的操作，实际上还是在 Linux 虚拟机上执行的操作。 五、虚拟机主机名的配置 1、如何查看主机名？ （1）直接通过命令提示符即可看出主机名。 （2）通过 hostname 命令也可显示主机名。 2、如何修改主机名？ （1）临时性修改 执行命令 hostname 主机名（要修改的主机名） 比如 sudo hostname abc 注意：临时性修改的方法当虚拟机重启的时候就不生效了，而且不会改变命令提示符中的主机名，所以为临时性修改。 （2）永久性修改 我们输入命令 vi /etc/sysconfig/network,然后在该文件中修改即可。 注意：修改完之后不会立即显示出修改后的结果，我们需要输入 reboot 命令重启 linux 操作系统，重启之后，我们才能看到修改后的结果。 六、关闭防火墙 1、防火墙是干什么的？为什么要关闭防火墙？ 防火墙是对我们的服务器进行的一种保护，但是有时候也会妨碍集群间的相互通讯，所以为了不影响集群间的通信我们可以关闭掉防火墙。 2、怎么关闭防火墙？ （1）首先查看防火墙状态 当出现如下信息时就表明防火墙是开启的状态。 service iptables status （2）关闭防火墙的两种方法： 1）临时性关闭 service iptables stop 注意：临时性关闭防火墙的效果和临时性修改主机名的效果一样，当重启 linux 虚拟机之后就不起作用了。 2）永久性关闭 chkconfig iptables off 注意：永久性关闭防火墙之后，需要重新启动 linux 操作系统，即输入 reboot 命令才能生效。 七、相关服务的安装 1、lrzsz 传输包 （1）为什么要安装 lrzsz 安装包? lrzsz 传输包主要用于文件的上传和下载，rz 表示上传，sz 表示下载，由于在集群搭建过程中需要对一些文件进行上传或下载，所以需要首先安装 lrzsz 传输包。 （2）怎么安装 lrzsz 安装包? 在 root 用户下，输入 yum install lrzsz 即可。这里我们采用的是 yum 的安装方式，因为这种方式可以把依赖的软件一起安装好。 2、安装 openssh-clients 服务 （1）为什么要安装 openssh-clients 服务？ 做免密码登录的时候需要用到这个服务 （2）怎么安装 openssh-clients 服务？ 输入命令 yum install -y openssh-clients (-y 表示在下载安装过程中全部输入 yes 或 y) （3）安装完成之后，可以输入命令 ssh,按回车，如果能查看到