Hadoop集群坏境CentOS安装_光环大数据培训

光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cnHadoopHadoop 集群坏境集群坏境 CentOSCentOS 安装安装_ _光环大数据培训光环大数据培训前面我们主要分析了搭建 hadoop 集群所需要准备的内容和一些提前规划好的项，本篇我们主要来分析如何安装 CentOS 操作系统，以及一些基础的设置，闲言少叙，我们进入本篇的正题。技术准备技术准备VMware 虚拟机、CentOS 6.8 64 bit安装流程安装流程因为我的笔记本是 Window7 操作系统，然后内存配置，只有 8G，内存配置太低了，当然为了演示，我会将 Hadoop 集群中的主节点分配 2GB 内存，然后剩余的三个节点都是 1GB 配置。所有的节点存储我都设置为 50GB。在安装操作系统之前，我们需要提前规划好操作系统的分区如何设置，我们知道，在Linux 系统中，它的磁盘分区并不同于 Windows 系统，它是通过目录挂载的方式进行分区，简单点说的话就是将不同的系统内置目录进行分配到不同的逻辑分区中，然后我们在进行存储的时候只需要根据目录进行存放就可以了。光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn上面的这种分区方式是和 Windows 操作系统有区别的，当然在 Linux 操作系统中还存在磁盘格式的不同，比如一般常见的格式为：ext2，ext3，ext4 等，我们当前最常用的就是 ext3，关于每种格式的不同点和应用场景大家有兴趣的可以网上查阅，这里不再赘述。那么我们来分析一下 Linux 系统中最常见的几种目录分区方式o/boot 系统引导目录，用来存放与 Linux 系统启动相关的程序，比如启动引导装载程序等。建议大小 200MB。o/usr 存放系统中安装的应用程序，一般的数据都比较多，所以建议大于 3GB。o/var 用来存放 Linux 系统中经常变化的数据以及日志文件，建议大于 1GB。o/home 存放普通用户的数据，是普通用户的宿主目录，一般一个用户就会创建一个home 目录，建议大小为剩下的空间。o/ 为 Linux 系统的根目录，所有的目录都挂在到这个目录下面，建议大小为大于 5GB以上。o/tmp 临时文件存放的地方，一般需要独立的分区，这样可以避免系统被塞满后系统的稳定性。建议大小为 500MB 以上。oswap 这个是虚拟内存，一般建议为物理内存的 12 倍。以上为我基于我们的 50GB 的存储空间做的一个规划，如果生产或者物理机大家可以根据需要成比例递增。下面，咱们进去 CentOS 操作系统的详细安装过程。光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn1、首先需要在、首先需要在 VMWare 中创建一个新的计算机，然后指定中创建一个新的计算机，然后指定 CentOS 的镜像路径和的镜像路径和用户名和密码。用户名和密码。2、指定当前虚拟机操作系统的存储大小和内存大小。、指定当前虚拟机操作系统的存储大小和内存大小。3、点击完成、点击完成 VMware 就进入了系统自动安装的过程中，然后等待完成安装就可以。就进入了系统自动安装的过程中，然后等待完成安装就可以。4、至此，我们已经成功的安装上了、至此，我们已经成功的安装上了 CentOS 操作系统，然后安装的过程中顺便创建操作系统，然后安装的过程中顺便创建了一个新用户了一个新用户 Hadoop，这个账户就是我们后面安装，这个账户就是我们后面安装 Hadoop 集群环境所使用的账号。集群环境所使用的账号。5、我们登陆到、我们登陆到 CentOS 操作系统，然后进入系统的首先要做的事情就是：改计算机操作系统，然后进入系统的首先要做的事情就是：改计算机名！改计算机名！改计算机名！。名！改计算机名！改计算机名！。打开终端输入界面，然后根据角色更改当前计算机的名称。打开终端的方式是在右键打开终端输入界面，然后根据角色更改当前计算机的名称。打开终端的方式是在右键>Open In Terminal光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cno输入 su 命令，切换至 root 超级用户，然后利用 vim 命令编辑/etc/sysconfig/network 文件。o然后编辑文件中的 HOSTNAME，设置为我们提前规划好的 Master.Hadoopo然后保存该文件，重启计算机。o重启计算机，查看设置是否生效。至此，你的计算机名称更改完毕！6、在修改完成计算机名之后，我们需要做的就是设置固定、在修改完成计算机名之后，我们需要做的就是设置固定 IP,然后配置然后配置 Host 文件。文件。当然，这里有几个知识点需要跟大家讲解一下，就是关于网络的配置，其实在VMware 虚拟机中存在几种网络模式：光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn其实，这里最常用的就是第二种模式：NAT 模式（N）:用于共享主机的 IP 地址，但是，这里我需要跟大家讲解的是，其实在我们的生产环境中，每一台虚拟机都是需要独立配置 IP 的，为了最大限度的避免因为宿主机的网络带来的问题，在 Hadoop 集群中我们选择第一种模式：桥接模式（B）:直接连接物理网络。啥意思呢？意思就是很简单，虽然你现在用的是虚拟机，但是把它当成物理机一样，也给插上网线，连接到本地的网络中去。当然，如果选择这种方式的前提是要保证你的局域网的网段和之前咱们规划的 IP 是一致的，必须都是 192.168.1.* 这种网段，这样的目的很简单就是宿主机和我们的虚拟机能够直接通信，那就意味这主机能联网，我们的虚拟机就能联网。然后，我们进入我们的虚拟机进行固定 IP 的设置。我们利用界面进行设置，毕竟这种方式比较简单易操作：然后，根据我们之前的系统规划，将我们的 IP 设置上，这里有一个选项一定要勾选上：Available to all users.我之前搭建集群的时候就因为这一个选择折腾了我一天的时间！这都是坑哈记住了！勾上！然后，就是验证我们当前虚拟机是否能上网，IP 是否能成功配置。光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn然后，确保能上网，毕竟咱们需要下载很多安装包。应该明白上面我输入的含义吧、这货是最常用的命令。最后一定要记得修改我们的 hosts 文件，当然了在生产集群中一般都会有自己的DNS 服务器，但是这里我们条件有限，就手动的配置下 Host 文件得了。切换至 root 超级管理员账户，然后修改 host 文件，执行以下命令：vim /etc/hosts保存文件，然后重启一下服务器。至此，关于服务器的网络我们已经配置完成了。7、上面我们完成了、上面我们完成了 CentOS 的基础配置，确保了计算机能够联网，下面我们就需要的基础配置，确保了计算机能够联网，下面我们就需要下载下载 Hadoop 安装包，然后进入安装包，然后进入 Hadoop 集群的搭建工作。集群的搭建工作。首先，我们需要下载安装 Hadoop 集群环境中需要的 Jdk 包，因为 Java 编写的嘛，然后下载 Hadoop 安装包，所以我们切换到 CentOS 的 Downloads 目录下：cd /home/hadoop/Downloads然后，下载我们所需要的安装包，到这个目录下：光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cncd /home/hadoop/Downloads/我们找到相关的版本的 java JDK 和 Hadoop 版本包，这里我们选择 Hadoop 最新的安装包，记住下载安装包的时候一定要上 Hadoop 官网上下载，能避免很多不必要的麻烦。CentOS 中下载脚本如下：wget http:/www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz然后，我们下载 JDK,这个上 Oracle 官网上，找到最新版本的 JDK 下载就可以了，同样我们也保存到 Downloads 目录中。JDK 下载脚本如下:wget http:/download.oracle.com/otn-pub/java/jdk/8u101-b13/jdk-8u101-linux-x64.tar.gz到此，我们已经准备好了相关的安装包，有图有真相：光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn当然了，如果感觉这种方式比较麻烦，就直接下载到本地，然后拷贝到CentOS 系统中就可以了，文章的最后我也会给出相关的下载包文件，再次提醒：一定要上官网下载！8 8、上面完成了安装包的下载，下面就是、上面完成了安装包的下载，下面就是 HadoopHadoop 配置了。配置了。其实，关于 Hadoop 环境的配置分为两步：1、Java 环境配置；2、Hadoop配置。原因很简单，因为 Hadoop 就是 Java 语言编写的，所以一定要先配置好Java 环境。 为什么大家选择为什么大家选择光环大数据光环大数据！大数据培训、人工智能培训、Python 培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请专业的大数据领域知名讲师，确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术，将前沿技能融入教学中，确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式，指导学生更快的掌握技能知识，成就上万个高薪就业学子。【报名方式、详情咨询报名方式、详情咨询】光环大数据官方网站报名：光环大数据官方网站报名：http:/hadoop.aura.cn/http:/hadoop.aura.cn/手机报名链接：手机报名链接：http:/http:/ hadoop.aura.cnhadoop.aura.cn /mobile/mobile/