大数据Hadoop该回归理性思考_光环大数据培训
光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn大数据大数据 HadoopHadoop 该回归理性思考该回归理性思考_ _光环大数据培训光环大数据培训大数据就是 hadoop 吗?当然不是，但是很多人一提到大数据就会立刻想到 Hadoop。现在数据科学家利用海量数据创建数据模型为企业带来的利益是以前所不可想象的，但是数据的潜力已经被完全挖掘出来了吗，它满足了人们的期待了吗?今天我就从 Hadoop 的历史开始剥丝抽茧看看它的今天。Gartner 2015 新兴技术成熟度曲线报告Gartner 2015 新兴技术成熟度曲线报告的关键点：1.Big Data 在 2014 年还处于泡沫化的底谷期，但是在 2015 年的成熟度曲线报告中已经不见它的身影。2.物联网连续两年处于过高期望的峰值。除了 Gartner 新兴技术成熟度曲线报告，我们再来看看 Big Data 和 Hadoop 的谷歌趋势，如下图：从图中我们看到，2014-2015 年是一个转折点，这之后 Big Data 和 Hadoop 的谷歌趋势开始下降了。Hadoop 的历史简介以下内容摘自 Alexey Grishchenko 发布的文章：Hadoop 是在谷歌的理念和雅虎的技术下诞生的，主要用来满足互联网公司的分布光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn式计算和存储架构的需求。2003-2008 年是 Hadoop 的萌芽发展期，几乎没有人知道它是什么，也不知道应该怎么去使用它。1.2008 年, Google 工程师 Christophe Bisciglia 和一群志同道合的朋友一起成立了一个专门商业化 Hadoop 的公司Cloudera，利用 Hadoop 开源产品抢先占领云和数据市场。后来，他们放弃了云，专注于数据，2009 年，Cloudera 发布了 Cloudera Hadoop Distribution。他们为 Hadoop 生态的发展做出了很多贡献，连接了开源与业界之间的鸿沟，从 Hadoop 的谷歌趋势中我们也可以看出 Hadoop 是从 2009 年开始进入高速发展期，这也是 Hadoop 第一次商业尝试。2.2009 年到 2011 年，Cloudera 试图炒热 Hadoop 市场，无奈它的技术受众太少暂时还难成气候。但是，第一个吃螃蟹的人已经证明了 Hadoop 平台的价值，越来越多的玩家开始加入其中，如 MapR 和 Hortonworks，一些初创公司和互联网公司也开始使用这一技术。3.2012 年到 2014 年，大规模的营销和企业支持让大数据突然爆红，一跃成为 IT圈的流行词。2012 年，主流的技术公司花费了 150 多亿美元收购做数据处理和分析的公司。大数据解决方案大幅增长，但分析市场很难升温。早期的 Hadoop 使用企业已经开始玩当时很有前途的新技术。4.20142015 年，大数据已经进入到了 Gartner 的过高期望峰值。Intel 投资 7.6亿美元的 Cloudera 估值已达 41 亿美元，Hortonworks 的估值也高达 10 亿美元。大数据领域也出现了很多新技术，如 Apache Spark、Apache Flink、Apache Kafka 等等。IBM 投资 3亿美元的 Apache Spark 也进入到了 Gartner 的过高期望的峰值。企业开始大量涌入大数据领域，数据湖、数据中心以及 架构等简化传统企业基础设施的解决方案开始大热。5.2016 年对大数据来说，是一个很有趣的时间点，Cloudera 的估值已经下降了38%，Hortonwork 的估值已经下降了近 40%，这些迫使它们不得不削减专业服务部。光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cnPivotal 放弃了自己开拓 Hadoop 市场，选择和 Hortonworks 合作，共同开拓市场。这到底是为什么呢?我认为导致这种现象的主要驱动力是企业客户对 Hadoop 看法的转变，刚开始大家对 Hadoop 认识还不够，跟风的嫌疑很重，但是随着对 Hadoop 的了解不断深入，大家开始明白 Hadoop 只是解决具体问题的一个工具，它并不是一个神器，可以帮助你一举击溃竞争对手，如果你的企业数据量没有达到一定的量级，那么你根本没有使用 Hadoop 的必要。所有的这些使企业开始对 Hadoop 进行重新评估，很多企业将他们的投资范围缩小为“大数据” ，专注于解决具体的业务问题。Hadoop 发展现状令人担忧Gartner 对 284 家企业进行了调查，只有 125 家企业表示他们已经投资了 Hadoop或在未来 2 年内会投资 Hadoop：54%的受访者表示没有投资计划。26%的受访者表示只部署了 Hadoop11%受访者表示在 12 个月内计划投资7%受访者表示在 24 个月内计划投资造成这种情况可能的原因Skills Gap57%的受访者表示 Skills Gap 是他们不采用 Hadoop 的主要原因，49%的受访者表示他们还在寻找其价值。据 Gartner 估计，专业人才要想满足市场需求至少需要两年的时间，Hadoop 供应商也正在积极努力为用户创建更加友好的集成模块和接口，但是很遗憾目前还光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn不能满足普通用户的需求。投资回报率在探索新的业务流程的时候，大多数的企业都会选择专业的个人或大数据团队来经营。很多传统数据库供应商也在不断的完善他们的产品，在内存和大规模的并行处理方面有了很大的提高，很多性能 PK 要胜 Hadoop，这给 Hadoop 的发展带来了很大的挑战。创建数据集市时，和 Hadoop 的合并也有很多有争议的地方。大多数的企业都有团队对企业社交数据和其他非结构化的数据进行处理，大部分的解决方案在做数据跟踪和品牌监测时是不需要实时处理的，这时 Hadoop 就处于劣势了。整合另一个很重要问题的就是 Hadoop 如何与现有的数据仓库和平共处呢?现在大部分的做法不是在云上建立系统，而是托管集群。Cloudera 的客户大多数是有自己的集群，少数是放在云上。现在的选择主要有以下几种：A.建立或租赁数据中心B.使用 IaaS 服务，如 AWS、谷歌云平台等，C.选择现下新兴的 Hadoop as a Service。这三种方式都各有自己的局限性，企业在选择时可以根据自己的实际情况，首先，建立数据中心的价格不菲，选择类似 Amazon EMR 这样的云供应商不仅要求企业要对Hadoop 有足够的了解，也要对 Amazon 生态系统有一定的了解，而 Hadoop as a Service 供光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn应商目前还没有好的成熟的产品面世，要想成为成熟企业还需一点时间。云计算的出现Skills Gap 和投资回报率是相互关联的，随着时间的推移，企业的技术越来越纯熟，这些因素对 Hadoop 价值的影响会越来越少。最近，出现了很多整合了云和 Hadoop 的解决方案。SAP 收购报告显示 SAP 收购了初创企业 Altiscale,Altiscale 是一家 Hadoop 云服务模式(HaaS)供应商。还有一个有趣的事件就是 Cloudera 要求英特尔提供 10 亿美元建立一个云服务。Hadoop 的市场领导者 Cloudera 一直在推动着云的发展，其在云端 Hadoop 市场也占领着一定的市场份额，但是 Cloudera 并不是一家独大，很多企业也都在发力这一领域，如Amazon AWS、IBM BigInsights、Google Cloud Platform,以及 Microsoft Azure HDInsight 等等。为什么大家选择为什么大家选择光环大数据光环大数据！大数据培训、人工智能培训、Python 培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请专业的大数据领域知名讲师，确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术，将前沿技能融入教学中，确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式，指导学生更快的掌握技能知识，成就上万个高薪就业学子。光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn【报名方式、详情咨询报名方式、详情咨询】光环大数据官方网站报名：光环大数据官方网站报名：http:/hadoop.aura.cn/http:/hadoop.aura.cn/手机报名链接：手机报名链接：http:/http:/ hadoop.aura.cnhadoop.aura.cn /mobile/mobile/
