Hadoop--快速搭建大数据开发环境_光环大数据培训

光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cnHadoop-Hadoop-快速搭建大数据开发环境快速搭建大数据开发环境_ _光环大数据培训光环大数据培训最近自己电脑的磁盘坏了，导致数据也没了。安装好系统之后就是各种弄环境了，之前的博客也写过 hadoop 环境搭建Hadoop ， Hive ， HBase ， Kafka ， Spark ， MySQL ， Redis 等等一系列的。之前记录的目的也是为了方便自己吧，但整个流程下来还是的花费几个小时。从前面的博客找到从虚拟机的网络配置，下载软件上传在修改配置挺麻烦的。这里再次做个汇总，以后做这个过程或者升级就更加方便（ 主要便捷是后面会给出一个 Virtual Box 的包直接导入就有这些所有环境了 ）。准备准备软件下载安装安装 linux1. 安装 virtual box（略，这个没什么好说的，一直下一步就 ok！） 2. 安装 Linux 虚拟机注意（选择第一个） 3. 添加虚拟机后网络配置环境准备环境准备规划1. 创建一个 data 目录所有东西都放在那儿： mkdir /data2. 再在 data 目录下创建一个 data 目录用来保存一些数据，比如 hdfs,kafka 等：mkdir /data/data上传软件光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn准备1. 关闭防火墙：email protected # service iptables stop email protected # chkconfig -list | grep iptables2. 修改主机名：修改email protected # vi /etc/sysconfig/network# 修改为：HOSTNAME=xiaoxiaomo3. 绑定 hosts Name：email protected # vi /etc/hosts# 添加 192.168.56.102 xiaoxiaomo4. 设置 ssh：email protected # ssh-keygen -t rsa #生成 rsa 格式的 ssh 私钥和公钥email protected # ssh-copy-id -i xiaoxiaomo #把公钥复制到对方节点(这里我复制到自己的主机 xiaoxiaomo01 上)email protected # ssh xiaoxiaomo01 #验证5. 安装国内的 yum 镜像参考：http:/blog.xiaoxiaomo.com/2016/02/11/Linux-Yum%E6%BA%90%E7%A0%81%E5%AE%89%E8%A3%85%E9%85%8D%E7%BD%AE/6. 安装 JDK 参考，这里我们安装 jdk1.8 ： #解压到/data #mysql 启动&&停止email protected opt# /etc/init.d/mysqld start #启动服务email protected opt# service mysqld start #启动服务email protected opt# /etc/init.d/mysqld stop #启停止服务email protected opt# service mysqld stop #停止服务安装安装 Hiveemail protected opt# tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /data/email protected opt# mv /data/apache-hive-1.2.1-bin/ /data/hive# 配置环境变量略email protected opt# cd $HIVE_HOMEemail protected hive# cp conf/hive-env.sh.template conf/hive-env.shemail protected hive# cp conf/hive-default.xml.template conf/hive-site.xml修改配置1. hive-env.shemail protected hive# vim conf/hive-env.sh #添加如下配置 export JAVA_HOME=/data/jdkexport HIVE_HOME=/data/hiveexport HADOOP_HOME=/data/hadoop2. hive-env.sh光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cnemail protected hive# vim conf/hive-env.sh #修改如下配置 hive.querylog.location /data/data/hive/tmp hive.exec.local.scratchdir /data/data/hive/tmp hive.downloaded.resources.dir /data/data/hive/tmpjavax.jdo.option.ConnectionURLjdbc:mysql:/localhost:3306/hive?createDatabaseIfNotExist=true&useUnicode=true&characterEncoding=UTF-8javax.jdo.option.ConnectionDriverNamecom.mysql.jdbc.Driverjavax.jdo.option.ConnectionUserNamerootjavax.jdo.option.ConnectionPasswordroot3. 复制 mysql 驱动 jar 包到$HIVE_HOME/lib/目录下4. 启动。查看 mysql 数据库 #email protected hive# hive安装安装 Kafka1. 解压 && 配置email protected opt# tar -zxvf kafka_2.11-0.11.0.0.tgz -C /dataemail protected opt# mv /data/kafka_2.11-0.11.0.0/ /data/kafka# 配置环境变量 && 修改配置文件 cd $KAFKA_HOMElog.dirs=/data/data/kafka/logszookeeper.connect=xiaoxiaomo:2181email protected kafka# mkdir -p /data/data/kafka/logs2. 启动 && 测试# 启动email protected kafka# nohup /data/kafka/bin/kafka-server-start.sh /data/kafka/config/server.properties >>/data/data/kafka/logs/kafka-server.log 2>&1 &# 测试email protected kafka# bin/kafka-topics.sh -create -zookeeper xiaoxiaomo:2181 -replication-factor 1 -partitions 1 -topic helloemail protected kafka# bin/kafka-topics.sh -describe -zookeeper xiaoxiaomo:2181 -topic hello光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn安装安装 Redis1. 解压编译email protected # yum -y install gcc #依赖于 gccemail protected # tar -zxvf /opt/redis-3.0.6.tar.gz -C /dataemail protected # cd /data/redis-3.0.6/email protected # make PREFIX=/data/redis install #安装到指定目录2. 将 redis 做成服务#将 redis_init_script 复制到/etc/rc.d/init.d/同时改名为 redisemail protected redis-3.0.6# cp /opt/redis-3.0.6/utils/redis_init_script /etc/rc.d/init.d/redisemail protected redis-3.0.6# vim /etc/rc.d/init.d/redis3. 配置#修改下面 4 行>#chkconfig: 2345 80 90 #注意：这个在上面蓝色字体第二行>EXEC=/data/redis/bin/redis-server#第七行>CLIEXEC=/data/redis/bin/redis-cli#第八行>$EXEC$CONF&#第二十行# 配置环境变量 && 修改配置文件 cd $REDIS_HOME#配置文件拷贝到/etc/redis/$REDISPORT.confemail protected redis-3.0.6# mkdir /etc/redis email protected redis-3.0.6# cp /opt/redis-3.0.6/redis.conf /etc/redis/6379.conf4. 注册服务 && 启动 && 停止# 注册 redis 服务：email protected redis-3.0.6# vim /etc/redis/6379.confemail protected redis-3.0.6# service redis start #启动email protected redis-3.0.6# service redis stop #停止email protected redis-3.0.6# redis-cli127.0.0.1:6379> shutdown #停止光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn为什么大家选择为什么大家选择光环大数据光环大数据！大数据培训、人工智能培训、P