一个助Hadoop集群数据快速上云工具_光环大数据培训

光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn一个助一个助 HadoopHadoop 集群数据快速上云工具集群数据快速上云工具_ _光环大数据培训光环大数据培训越来越多的公司和企业希望将业务迁移到云上，同时业务数据也希望能更顺畅的迁移到云上。当前业界有很多公司是以 hadoop 技术构建数据中心，所以本文将探讨如何快速的将 Hadoop 文件系统（HDFS）上的数据迁移到云上。在阿里云上使用最广泛的存储服务是 OSS 对象存储。OSS 的数据迁移工具ossimport2 可以将您本地或第三方云存储服务上的文件同步到 OSS 上，但这是一个单机版的程序，无法发挥 Hadoop 分布式的特点。并且因为工具只支持本地文件，所以需要将 HDFS 上的文件先下载到本地，再通过工具上传，整个过程耗时又耗力。工具介绍工具介绍本文介绍一个从 Hadoop 集群直接迁移数据到 OSS 上的工具，该工具由阿里云 E-MapReduce 团队开发，基于 Hadoop 社区中常用的 DistCp 工具，并从E-MapReduce 产品中剥离出了一个常见的功能，做成工具开放给全体阿里云客户使用。1) 下载和安装：下载附件中的 emr-tools.tar.gz 工具，并解压缩到本地目录：tar jxf emr-tools.tar.bz22) HDFS 数据复制到 OSS 上：cd emr-tools./hdfs2oss4emr.sh /path/on/hdfs oss:/accessKeyId: email protected /path/on/oss其中 accessKeyId 和 accessKeySecret 是你访问阿里云 API（包括 OSS 等云产品）的密钥，bucket-name.oss-cn-hangzhou.aliyuncs.com 是 OSS 的访问域名，包括 bucket 名称和所在 Region 的 endpoint 地址。如果参数都正确，光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn则会启动一个 Hadoop MapReduce 任务（DistCp），作业运行完毕之后会打印本次数据迁移的信息：17/05/04 22:35:08 INFO mapreduce.Job: Job job_1493800598643_0009 completed successfully17/05/04 22:35:08 INFO mapreduce.Job: Counters: 38File System CountersFILE: Number of bytes read=0FILE: Number of bytes written=859530FILE: Number of read operations=0FILE: Number of large read operations=0FILE: Number of write operations=0HDFS: Number of bytes read=263114HDFS: Number of bytes written=0HDFS: Number of read operations=70HDFS: Number of large read operations=0HDFS: Number of write operations=14OSS: Number of bytes read=0OSS: Number of bytes written=258660OSS: Number of read operations=0OSS: Number of large read operations=0OSS: Number of write operations=0Job CountersLaunched map tasks=7光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cnOther local map tasks=7Total time spent by all maps in occupied slots (ms)=60020Total time spent by all reduces in occupied slots (ms)=0Total time spent by all map tasks (ms)=30010Total vcore-milliseconds taken by all map tasks=30010Total megabyte-milliseconds taken by all map tasks=45015000Map-Reduce FrameworkMap input records=10Map output records=0Input split bytes=952Spilled Records=0Failed Shuffles=0Merged Map outputs=0GC time elapsed (ms)=542CPU time spent (ms)=14290Physical memory (bytes) snapshot=1562365952Virtual memory (bytes) snapshot=17317421056Total committed heap usage (bytes)=1167589376File Input Format CountersBytes Read=3502File Output Format CountersBytes Written=0光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cnorg.apache.hadoop.tools.mapred.CopyMapper$CounterBYTESCOPIED=258660BYTESEXPECTED=258660COPY=10copy from /path/on/hdfs to oss:/accessKeyId: email protected /path/on/oss does succeed !作业完成后，可以用 osscmd 等工具查看 OSS 上数据情况：osscmd ls oss:/bucket-name/path/on/oss3) OSS 数据复制到 HDFS：同样的，如果已经在阿里云上搭建了 Hadoop 集群，可以方便的把数据从OSS 上迁移到新的 Hadoop 集群./hdfs2oss4emr.sh oss:/accessKeyId: email protected /path/on/oss /path/on/new-hdfs4) 其他说明：这个工具同时兼容 Hadoop 2.4.x、2.5.x、2.6.x、2.7.x 等版本，如果有其他Hadoop 版本兼容性的需求，可以直接联系我们。更多使用场景更多使用场景除了线下的集群，阿里云 ECS 上搭建的 Hadoop 集群也可以用这个工具，借助它可以很方便的将自建集群迁移到阿里云 E-MapReduce 服务上。E-MapReduce 是由阿里云专业的大数据团队提供的 Hadoop/Spark 服务，提供了包括集群管理、作业管理、Hive 表管理、监控报警等丰富的功能，将客户从繁琐的 Hadoop 集群运维工作中解放出来。当前阿里云 E-MapReduce 服务在ECS 机器费用之外并没有额外收费，可以直接创建集群使用。如果你现有集群已经在阿里云上 ECS 上，但是在经典网络中，无法和 VPC中的服务做很好的互操作，所以想把集群迁移到 VPC 中。此时，你可以先用本光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn工具迁移数据到 OSS 上，然后需在 VPC 环境中新建一个集群（自建或使用 E-MapReduce 服务），再将数据从 OSS 上迁移到新的 HDFS 集群中。如果你使用 E-MapReduce 服务，还可以直接在 Hadoop 集群中通过Spark、 MapReduce 、Hive 等组件访问 OSS，这样不仅可以减少一次数据复制（从 OSS 到 HDFS），还可以极大的降低存储成本。为什么大家选择为什么大家选择光环大数据光环大数据！大数据培训、人工智能培训、Python 培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请专业的大数据领域知名讲师，确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术，将前沿技能融入教学中，确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式，指导学生更快的掌握技能知识，成就上万个高薪就业学子。【报名方式、详情咨询报名方式、详情咨询】光环大数据官方网站报名：光环大数据官方网站报名：http:/hadoop.aura.cn/http:/hadoop.aura.cn/手机报名链接：手机报名链接：http:/http:/ hadoop.aura.cnhadoop.aura.cn /mobile/mobile/