云计算实验报告2.docx

云计算实验报告2 太 原 科 技 大 学 实 验 报 告 2020年 10 月14 日 实验时间：16 时 00分至18 时00 分 专业 姓名 学号 班级 课程名称 实验名称 Hadoop 平台安装实验 2 同组者 指导教师 成绩 一、实验目标： 在大数据时代，存在很多开源的分布式数据采集、计算、存储技术，本实验将熟悉并搭建几种常用的大数据采集、处理分析技术环境 实验二需要在笔记本上搭建 Hadoop 集群，实验报告根据教程对笔记本上创建虚拟机搭建 Hadoop 集群的步骤进行了说明包含所有需要安装的软件与服务的版本，安装路径，安装方法等 二、实验原理： 1.单机模式：Hadoop 默认模式、即非分布式模式(本地模式)、无需进行其他配置即可运行非分布式，即 java 单进程，方便进行调试 2.伪分布式模式： Hadoop 在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 java进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。

3.分布式模式：使用多个节点构成集群环境来运行 Hadoop 三、实验内容： 以伪分布式模式安装 Hadoop 平台 四、实验设备： 个人笔记本电脑 虚拟街软件：VMware Workstation 系统 CentOS-7-x86_64-Everything-2003.iso 阿里云 contos-7 镜像站点： 五、实验步骤：： l 将 hadoop-2.7.3.tar.gz，拷贝到 CentOS 中的~/software 目录下 1、将 Hadoop 压缩包，解压缩到用户主目录的 dt 目录下； $ cd ~ $ mkdir dt $ cd dt $ tar -zxvf ~/software/hadoop-2.7.3.tar.gz 2、打开/etc/profile 配置文件，配置 hadoop 环境变量: export HADOOP_HOME=/home/hduser/dt/hadoop-2.7.3 export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 3、保存。

然后执行/etc/profile 文件(让配置生效)： $ source /etc/profile l 配置 Hadoop: 1、配置$HADOOP_HOME/etc/hadoop/目录中如下的配置文件： 1) hadoop-env.sh 两个文件中都做： export JAVA_HOME=/usr/local/jdk1.8.0_162 2) core-site.xml 注：如果没有 hddata/tmp 目录，要先在磁盘上创建 fs.defaultFS hdfs://localhost:8020/ hadoop.tmp.dir /home/hduser/dt/hddata/tmp 3) hdfs-site.xml 注：如果没有 hddata/name 目录和 hddata/data 目录，要先在磁盘上创建 dfs.namenode.name.dir /home/hduser/dt/hddata/name dfs.datanode.data.dir /home/hduser/dt/hddata/data dfs.replication 1 4) mapred-site.xml 注：默认没有这个文件，从 mapred-site.xml.template 复制一份并改名。

$ cp mapred-site.xml.template mapred-site.xml # 配置内容如下： mapreduce.framework.name yarn mapreduce.jobhistory.address localhost:10020 mapreduce.jobhistory.webapp.address localhost:19888 5) yarn-site.xml yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce_shuffle.class org.apache.hadoop.mapred.ShuffleHandler yarn.resourcemanager.hostname localhost 2、格式化 hdfs(仅需执行格式化一次)。

在终端窗口，执行命令: $ hdfs namenode -format l 安装 SSH 服务，实现集群中 SSH 无密码连接(从主节点到从节点的无密码登录)： 1、在终端下，执行如下的命令：(注:CentOS 已自带 SSH 服务，略过此步) $ sudo yum -y install ssh sudo apt-get install ssh $ ls -a 2、本地 SSH 登录： $ ssh localhost $ exit 3、查看.ssh 目录： $ ls -a 4、进入.ssh 目录： $ cd .ssh 5、生成公私钥： $ ssh-keygen -t rsa 然后一路回车 6、将公钥加入到授权文件： $ ssh-copy-id hduser@localhost 7、测试 SSH 无密码登录： $ ssh localhost $ exit l 运行 pi 程序： $ hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar pi 10 20 六、实验结果： 这次实验完成了 Hadoop 的安装和环境变量的配置，使得程序可以运行，为下一次的实验奠定一定的基础，HDFS 实验会进行的比较顺利。

七：心得体会 通过本次实验的实践，已经完成了 Hadoop 的安装和环境变量的配置，我一直觉得环境变量比较难配置，但这次发现用代码的配置也许会有新的感觉，也会变得容易一些，书本学习的是理论知识，我们通过实验可以把书本上的知识变成自己的 。