0基础搭建Hadoop大数据处理-环境_光环大数据培训

光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn0 0 基础搭建基础搭建 HadoopHadoop 大数据处理大数据处理- -环境环境_ _光环大数据培训光环大数据培训由于 hadoop 需要运行在 Linux 环境中，而且是分布式的，因此个人学习只能装虚拟机，本文都以 VMware Workstation 为准，安装 CentOS7，具体的安装此处不作过多介绍，只作需要用到的知识介绍。VMware 的安装，装好一个虚拟机后利用复制虚拟机的方式创建后面几个虚拟机，省时省力，需要注意的是需要修改每个虚拟机的 IP 与主机名。所有虚拟机采用 NAT 模式上网，而且要保证与物理主机的 IP 互相能访问。需要注意的几个问题。nat 如果上网首先需要查看物理机（pc 机）这个服务器已经启动。上网的原理：流量是走的物理网卡，但是它的 ip,却是和物理机没有关系的。 也就是说，无论你怎么更换网络环境，你的虚拟机都不需要做改变。这就是它的优点。首先在安装 VMware 之后，我们会看到多了两个网卡这个如果经过网络配置的折磨，应该能找到着两个网卡：vmnet1 和 vmnet8，这里讲的是 vmnet8。重点看右侧第三图你会看到 ip 地址，这个 ip 地址，因个人而异，也就是说不同网络，不同环境，这个 ip 变化的概率是很大的。可能是 192.168.0.1 等等。这里也相当于我们编程的一个变量，这里是需要你根据你的环境来赋值的，建议 vmnet1 到 vmnet8 分别设置 192.168.10.1 到 192.168.80.1，好作区分。上面我们通过看到的虚拟机网卡的 ip，为了避免混肴，上面的虚拟网卡和本地网络适配器处于同一界面。如下图光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn而下面则是在打开虚拟机之后，通过菜单弹出弹出之后，我们在看一下虚拟机的（交换机）vmnet8.可以看到 vmnet8 子网 ip 和虚拟机网卡是出于同一个网段的。同时在右侧 net 设置界面，我们可以看到网关为：192.168.106.2，改成 192.168.80.2 虚拟机的设置会用到。Linux 基础知识基础知识Linux 的学习也是一个过程，因为可能你连最简单的开机和关机命令都不会，更不要谈配置网络。这里面给大家提供刚开始学习所查阅的资料和经验总结。首先我们需要使用一些命令，进行网络配置，但是在网络配置中，这里面又必须懂得虚拟机的一些知识，所以前面的虚拟机知识需要掌握扎实一些。在此注意 CentOS7 与 CentOS6 的命令有些不同，会一些常用命令是必备，每次开机或启动解压安装授权都是最基本的知识，其它的可以暂时不用学。具体常用命令可参考常备具体常用命令可参考常备 Linux 命令命令CentOS 中安装中安装 java 环境环境下载对应 32 或 64 位 jdk，设置好 JDK 环境变量 PATH，具体的配置可自行Google。环境准备环境准备修改机器名,每个系统中都要修改成这样。光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn打开终端，切换到 root 用户下修改机器名称。$ sudo su$ vim /etc/sysconfig/network在其中添加“HOSTNAME=H32”添加每个服务器 IP 对应的机器名三个 ip 地址都添加到各自的/etc/hosts 文件中每个系统中都要修改成这样#编辑 hosts vim /etc/hosts关闭关闭 SELinux#编辑 SELinux 配置文件 vim /etc/selinux/config#改状态 SELINUX=disabledSSH 设置设置进入 H30，查看 ssh 是否安装,如果有，继续，没有安装下。rpm -qa|grep ssh关于 ssh 的安装参考 ：如何实现两台服务器间无密码的传输数据和操作如何实现两台服务器间无密码的传输数据和操作时间服务器安装时间服务器安装这里需要安装时间服务器，其他的服务器通过这个来进行多机器时间的同步，分布式部署时机器时间不一致会导致数据错误或组件内通讯错误。安装安装 httpd 服务服务光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cnhttpd 是 Apache 超文本传输协议(HTTP)服务器的主程序。被设计为一个独立运行的后台进程，它会建立一个处理请求的子进程或线程的池。安装安装 yum-utilsyum install yum-utils 用于在线 yum 安装 它是基於 RPM 包管理，能够从指定的服务器自动下载 RPM 包并且安装，可以自动处理依赖性关系，并且一次安装所有依赖的软体包，无须繁琐地一次次下载、安装。yum 提供了查找、安装、删除某一个、一组甚至全部软件包的命令，而且命令简洁而又好记。（需要机器能访问外网）准备资源和环境准备资源和环境下载 Centos 7.2 的 iso 安装镜像，jdk1.8 for Linux 压缩包，hadoop2.7.3 压缩包（本来用 hadoop3，发现后面不兼容 hive 的最新版本）Java 基础知识基础知识由于 Hadoop 框架源码都是以 java 来写，因此最好都以 java 作为开发的最佳语言，虽然说有些用 C#做了封装，但性能已大打折扣。（这就是为什么说Java 的学大数据有很大的优势，其它语言的还需要重新学习 Java）Eclipse IDE 使用Linux 和 Windows 下源码编译技术还有最重要的是你的网速要好，因为安装过程中会下载依赖包，网不好会卡到你怀疑人生。最后还需要有耐心，每台机子的环境都不一样，而且每个人下载的包的版本也有可能不一样 会导致各种问题，此时就需要耐心的去看日志，不停的尝试和仔细的对比安装步骤，可能就是少了个变量 或大小写错误或是要重启。环境准备就这么多，下一章开始讲如何安装 Hadoop 集群。为什么大家选择为什么大家选择光环大数据光环大数据！光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn大数据培训、人工智能培训、Python 培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请专业的大数据领域知名讲师，确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术，将前沿技能融入教学中，确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式，指导学生更快的掌握技能知识，成就上万个高薪就业学子。【报名方式、详情咨询报名方式、详情咨询】光环大数据官方网站报名：光环大数据官方网站报名：http:/hadoop.aura.cn/http:/hadoop.aura.cn/手机报名链接：手机报名链接：http:/http:/ hadoop.aura.cnhadoop.aura.cn /mobile/mobile/