Hadoop2.8和Spark2.1完全分布式搭建详解_光环大数据培训

光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cnHadoop2.8Hadoop2.8 和和 Spark2.1Spark2.1 完全分布式搭建详解完全分布式搭建详解_ _光环大数据培训光环大数据培训光环大数据培训光环大数据培训认为，认为，hadoop2.8 和和 Spark2.1 完全分完全分布式搭建详解布式搭建详解一、前期准备工作：一、前期准备工作：1.安装包的准备：VMware(10.0 版本以上) :2.辅助工具安装包：Putty：一个十分简洁的链接服务器的工具。因为虚拟机太卡了长期在上面操作的话会卡到爆。用 Putty 可以在主机用一个终端来操作虚拟机。FlashFxp：用于在宿主机上传和下载虚拟机的文件，当然 VMware 安装了 tools 之后可以随意拖拽很方便，但是还是考虑到卡爆的问题，虚拟机启动后我们完全不管他，就当作服务器来用。3.系统基本配置：（未说明则均在主机 rzxmaster 上操作）第一步：安装 VMware，创建虚拟机 Master，安装 Vim，Mysql（mysql 也可以暂且不装，但是考虑到后面组件的扩展还是先安上）。第二步：克隆虚拟机(选择完全克隆)rzxmater，分别命名为rzxslave1，rzxslave2（这里的命名可以自行修改）。然后启动三个虚拟机。第四步：静态 Ip 设置：静态 IP 设置：但是其中有部分问题，不知道是 16.0 和 14.0 版本差异的问题还是教程本身的问题，一个是网络重启之后 DNS 配置丢失的问题。每次重启之后会发现配置的 DNS 文件恢复成了 127.0.0.1光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn这个问题是由于 interface，networkManager 两种网络管理冲突造成的。解决方法就是在编辑链接的时候将 DNS 也一起编辑。这样就不用再编辑 DNS 的配置文件。如下图所示：其他步骤按博文所说就可以完成静态 IP 的配置。第五步：hosts 配置， 特别强调主机名称不要含有下划线“_“，最好是纯英文。因为 hadoopXML 配置的时候部分 value 不能有下划线，会报错。第六步：SSH 免密码登录:二、集群搭建二、集群搭建通过前面的准备工作我们已经获取到了所有需要的安装包，设置好了静态IP，配好了 ssh 免密码登录，接下就是集群的安装了。首先我所有的包都是安装在当前用户的根目录下,也就是终端打开的目录(一般是： /home/username username 是当前的用户名)，这个目录是当亲前用户的工作空间我把这个目录的位置记作 basePath=/home/username .这个 basePath以根据自己的喜好安装到别的目录下。（basePath=“=/home/linuxidc,我这里的 basePath=/home/linuxidc）三台虚拟机分别如下：rzxmaster 是主节点(datanode)，rzxslave1,rzxslave2是分支节点(namenode)192.168.8.137 rzxmaster192.168.8.136 rzxslave1192.168.8.138 rzxslave2为 了方便管理这里在主目录建了三个文件夹：Java,spark,hadoop. mkdir Java spark hadoop 现在将 jdk,hadoop,scala,spark 的安装包分别传到路径basePath/Java,basePath/hadoop,basePah/spark 下,(scala 和 spark 的压缩包都放在 spark 文件夹下)。光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn为什么大家选择为什么大家选择光环大数据光环大数据！大数据培训、人工智能培训、Python 培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请专业的大数据领域知名讲师，确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术，将前沿技能融入教学中，确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式，指导学生更快的掌握技能知识，成就上万个高薪就业学子。【报名方式、详情咨询报名方式、详情咨询】光环大数据官方网站报名：光环大数据官方网站报名：http:/hadoop.aura.cn/http:/hadoop.aura.cn/手机报名链接：手机报名链接：http:/http:/ hadoop.aura.cnhadoop.aura.cn /mobile/mobile/