您所在位置：网站首页 > IT计算机/网络 > 数据挖掘与识别hadoop究竟是什么_光环大数据培训

hadoop究竟是什么_光环大数据培训

3页

卖家[上传人]：gua****an

文档编号：49596475

上传时间：2018-07-31

文档格式：DOCX

文档大小：39.22KB

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

0 金贝

/ 3 举报版权申诉马上下载

文本预览

下载提示

常见问题

1、光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/ 光环大数据光环大数据 http:/hadoophadoop 究竟是什么究竟是什么_ _光环大数据培训光环大数据培训不少读者反馈本站的内容太专业、太技术，虽然很想看懂点什么，但是满眼的专有名词，心累! 为了和广大吃瓜群众融为一体，我们特别推出了白话大数据系列，从此麻麻再也不用担心我看不懂啦，今天先推第一集Hadoop 究竟是个什么鬼所以充满了使命感的我们，是时候站出来解释一下了! 1 建立在大数据背景之下当然，要解释清楚什么是 Hadoop 那得要从大数据说起。在 20 多年前，也就是上个世纪 90 年代，数据大量产生(也并不是之前没有这么多数据，而是由于科学技术的原因，这些日常生活中的数据转瞬即逝并没有被人们记录下来)这个“大量产生”有多么夸张呢，现在的数据量相当于之前数据量的上百上千倍! 数据如此快速地增长势必带来一些问题，我们先来做一道小学 3 年级的应用题，请听题： 90 年代的数据量相当于 10 个零件，一个小朋友 1 分钟走一趟搬 1 个零件，花 10 分钟可以搬走这些零件;90 年代以后的数据量

2、相当于 10000 个零件，这个小朋友也长大了，他 1 分钟走一趟可以搬 4 个零件，那么要搬走这些零件要花多长时间呢? 答案是 2500 分钟! 也就是说，数据读取技术的发展完全跟不上数据量的增长速度啦! 于是聪明的我们就用到了分布式是整个 Hadoop 的核心思路。 2 运用分布式解决单体能力有限的问题什么是分布式?一个很浅显的道理，我们完全没必要培养一个 1 分钟能搬100 个人零件的壮汉，那也不太现实 1 个人搬零件搬得太慢我们可以请 10 个人呀，再不行就请 100 个人、1000 个人，这就是所谓的分布式。但随着零件数的增加问题，如何处理好这么多零件呢? 3Hadoop 核心设计：HDFS 和 MapReduce 光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/ 光环大数据光环大数据 http:/我们首先要分配好这些零件。大数据时代我们面临的是以 TB、PB 甚至 EB为单位的数据，因此，我们需要建立一个既能存的下如此大量的数据，而且还能高速高效地读写文件的文件管理系统HDFS。HDFS 也就是 Hadoop 分布式文件系统，将一份巨型的文件分散到

3、多台存储设备中，并配合一个调度程序来管理这些文件。那么 HDFS 是如何运作的呢?先听个故事某零件厂的老板(客户Client)手里有一大批零件要存放。然而一个单独的仓库根本无法存放如此之多的零件。于是老板想到了建立一个仓库集群(HDFS)，把自己的零件分批存放在不同的仓库(主机 host)里，再建立一个覆盖所有仓库的管理系统。具体的流程图是这样的：当文件都通过 HDFS 存放好之后，我们就要考虑如何来利用这些数据了。人们常常通过数据之间的关联来挖掘出数据中的潜在价值，而杂乱无章的数据会对数据挖掘产生很大的阻碍。这时候就需要建立一个编程模型来对数据进行排序整理，这就是 Hadoop 的另一个核心Mapreduce。我们再来看另外一个故事：总体说来，HDFS 是 Hadoop 的储存基础，是数据层面的，提供储存海量数据的方法(分布式储存)。而 MapReduce，是一种引擎或是一种编程模型，可以理解为数据的上一层，我们可以通过编写 MapReduce 程序对 HDFS 中海量的数据进行计算处理(分布统计整合)。这就类似于我们通过 MapReduce(读取)所有文件(HDFS)并进行统

4、计，从而找到我们想要的结果。所以说 Hadoop 是一种能帮助我们大量储存数据并且能处理数据的工具。(好像又很多名词了) 其实 HDFS 和 MapReduce 仅仅只是 Hadoop 最基础的部分(其余的我们会在后续的文章中慢慢提到)。Hadoop 从 2006 年诞生至今的十年里，已经经历了数次更新，更是开发出了多种延伸功能。各种以 Hadoop 为基础开发产品的公司早已遍布世界各地，各种 Hadoop 技术应用的案例也是数不胜数。所以小编想告诉大家：不要将 Hadoop 想象得遥不可及，Hadoop 早已成为我们生活的一部分。为什么大家选择为什么大家选择光环大数据光环大数据！光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/ 光环大数据光环大数据 http:/大数据培训、人工智能培训、Python 培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请专业的大数据领域知名讲师，确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术，将前沿技能融入教学中，确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式，指导学生更快的掌握技能知识，成就上万个高薪就业学子。【报名方式、详情咨询报名方式、详情咨询】光环大数据官方网站报名：光环大数据官方网站报名：http:/ /mobile/mobile/

《hadoop究竟是什么_光环大数据培训》由会员gua****an分享，可在线阅读，更多相关《hadoop究竟是什么_光环大数据培训》请在金锄头文库上搜索。

点击阅读更多内容

TA的资源