Hadoop3大数据部署与数据分析实战实验指导书.docx

2025/6/18 16:55 P1 - 部署 Hadoop 完全分布式与搭建开发环境 | Hadoop集群部署与开发 V5 | ⿊隼个⼈技术记载P1 - 部署 Had oop 完全分布式与搭建开发环境 2021-03-19 16分钟阅读时⻓ hadoopd【版本】当前版本号 v20250303版本修改说明v20250303加⼊关闭防⽕墙操作， 增加常见问题v20250211初始化版本任务1.1 部署 Had oop 完全分布式【任务⽬的】掌握搭建 Hadoop 完全分布模式环境熟练掌握 Linux 常⽤命令如vi、ping、cat、ssh等 掌握VirtualBox、FinalShell等客户端的使⽤任务环境】内存 ：⾄少4G硬盘 ：⾄少空余40G操作系统: 64位 Windows系统 【任务资源】 FinalShell CentOS 7.9系统镜像 VirtualBox 7 Hadoop 3 安装包https://heisun.xyz/docs/hadoop-e/hadoop-e01/ 1/412025/6/18 16:55 P1 - 部署 Hadoop 完全分布式与搭建开发环境 | Hadoop集群部署与开发 V5 | ⿊隼个⼈技术记载【任务要求】（1）完成模板机的克隆（2）完成Hadoop 完全分布模式的部署 【任务说明】（1） 由于部署 Hadoop 完全分布式需要3个节点， 我们使⽤虚拟化技术， 在本地虚拟化出 3台虚拟机来部署 Hadoop 完全分布式环境。

2）对于 Hadoop 平台的编程调⽤ ， 需要准备好 Java 的标准开发环境我们使⽤ Java 开发常见的 JDK+Maven+IDEA 组合来进⾏部署和配置任务步骤】安装 VirtualBox1. 安装 VirtualBox ， 过程略如果之前有安装旧版本的 VirtualBox， 请先卸载导⼊模板机2. 解压虚拟机压缩包 HadoopTmpl.zip 到本地⽬录路径， 例如 D:\VirtualBoxImages 注意这个路 径 不能含有中文或者空格 解压以后可以看到以下⽂件https://heisun.xyz/docs/hadoop-e/hadoop-e01/ 2/412025/6/18 16:55 P1 - 部署 Hadoop 完全分布式与搭建开发环境 | Hadoop集群部署与开发 V5 | ⿊隼个⼈技术记载3. 打开 VirtualBox ， 并导⼊前⾯解压的 “ HadoopTmpl” 虚拟机， 由于接下来我们要从这 台虚拟机复制出3台新的虚拟机， 所以我们称这台机为 “ 模板机”。

4. 导⼊成功以后可以在 VirtualBox 左侧看到 HadoopTmpl 虚拟机https://heisun.xyz/docs/hadoop-e/hadoop-e01/ 3/41配置模板机5. 打开 VirtualBox 的⽹络管理器进⾏配置6. 选中 VirtualBox Host-Only Ethernet Adapter ， 这是虚拟机的 仅主机（Host-Only） 虚拟⽹络适 配器修改以下的参数：IPv4 地址：10.0.0.2IPv4 网络掩码：255.255.255.0https://heisun.xyz/docs/hadoop-e/hadoop-e01/ 4/417. 设置 HadoopTmpl 虚拟机的⽹络适配器， 指向刚才配置的 VirtualBox Host-Only Ethernet Adapter 。

8. 插⼊安装镜像光盘 CentOS-7-x86_64-DVD-2009.iso ， 作为本地软件源https://heisun.xyz/docs/hadoop-e/hadoop-e01/ 5/41测试模板机9. 启动模板机， 正常启动以后会出现以下界⾯https://heisun.xyz/docs/hadoop-e/hadoop-e01/ 6/4110. 安装 FinalShell， 过程略。

11. 使⽤ FinalShell 连接模板机， 连接配置如下：连接名称：hadoop@10.0.0.70主机：10.0.0.70端口：22用户名：hadoop密码：132456https://heisun.xyz/docs/hadoop-e/hadoop-e01/ 7/41https://heisun.xyz/docs/hadoop-e/hadoop-e01/ 8/4112. HadoopTmpl 模板机有2个⽤户， 通常只需要使⽤ hadoop ⽤户登录系统即可。

hadoop用户用户名：hadoop密码：132456#root用户用户名：root密码：132456复制模板机13. 登录模板机以后， 修改hosts⽂件sudo vim /etc/hosts14. 在⽂件后⾯ 新增以下几行 这⾥主要是为了后⾯复制出来的虚拟机可以相互通过主机名进⾏ 相互访问https://heisun.xyz/docs/hadoop-e/hadoop-e01/ 9/4110.0.0.7110.0.0.7210.0.0.73nodea替换为你学号后3位nodeb替换为你学号后3位nodec替换为你学号后3位15. 关闭系统防⽕墙systemctl stop firewalldsystemctl disable firewalld注意 ：这⾥为了⽅便演⽰部署， 选择关闭防⽕墙， 在实际的⽣成环境中， 不能直接关闭防 ⽕墙， 会有极⼤的安全隐患。

16. 查看系统防⽕墙状态， 确认状态是显⽰为 Active: inactive (dead)firewalld.service - firewalld - dynamic firewall daemonLoaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled)Active: inactive (dead) Docs: man:firewalld(1)17. 关闭 HadoopTmpl 模板机依次从模板机复制出3台虚拟机， 名称， 主机名和 IP 地址如 下表所⽰ ， 注意替换为你的学号后3位复制虚拟机的⽅法请点击此链接查看虚拟机名称主机名（hostname）IP地址NodeAnodea+你学号后3位（例如nodea101）10.0.0.71NodeBnodeb+你学号后3位（例如nodeb101）10.0.0.72NodeCnodec+你学号后3位（例如nodec101）10.0.0.7318. 由于刚复制好的虚拟机都使⽤同⼀个IP地址， 所以不能同时启动模板机、NodeA、NodeB 或NodeC。

需要依次启动， 登录， 并逐⼀修改为对应的 hostname 和 IP修改主机名的⽅法请点击此链接查看 修改IP地址的⽅法请点击此链接查看19. 同时启动 NodeA、NodeB 和 。