扩展Hadoop的十大要点汇总_光环大数据培训
6页1、 光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/ 光环大数据光环大数据 http:/扩展扩展 HadoopHadoop 的十大要点汇总的十大要点汇总_ _光环大数据培训光环大数据培训20 世纪 90 年代,每台应用服务器往往都拥有直接连接存储(DAS)。创建存储区域网络(SAN),是为了提供共享的存储池,以获得更大的规模和更高的效率。hadoop 逆转了这股潮流,让 DAS 重新流行起来。每个 Hadoop 集群都有自己的、横向扩展直接连接存储。它有助于 Hadoop 管理数据局部性,但是牺牲了共享存储的规模和效率。因此,如果你有Hadoop 发行版的多个实例,就会有多个这种横向扩展的存储孤岛。Hedvig 公司的首席执行官兼创始人阿维纳什拉克希曼(Avinash Lakshman)说:“我们遇到的最大挑战就是,兼顾数据局部性与规模和效率。 ”数据局部性是指确保大数据集存储在执行分析任务的计算资源附近。对于 Hadoop来说,这就意味着管理数据节点(DataNode),而数据节点为 MapReduce 拥有足够好的性能提供了存储资源。它可以高效地工作,但是导致了
2、另一个操作问题:大数据存储孤岛。本文介绍的这些要点有助于管理 Hadoop 环境中的大数据存储。1. 分散式存储集中式存储作为传统架构已有一段时间。但是大数据其实并不适合集中存储架构。Infogix 的金融服务行业(FSI)战略和运营经理森希尔拉贾曼尼坎(Senthil Rajamanickam)表示,Hadoop 旨在让计算资源更接近数据,同时充分利用 HDFS 文件系统的大规模横向扩展功能。然而,解决 Hadoop 管理自有数据的低效问题的常见方法,一向是将 Hadoop 数据存储在 SAN 上。而这带来了性能和规模方面的一系列瓶颈。现在,你的所有数据都通过集中式 SAN 控制器来处理,而控制器破坏了 Hadoop 的分布式、并行化的特性。你需要为多个数据节点管理多个 SAN,或者将所有数据节点保存到一个 SAN 上。光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/ 光环大数据光环大数据 http:/拉克希曼说:“由于 Hadoop 是一种分布式应用系统,它应该可以在分布式存储上运行,那样你的存储保持与 Hadoop 本身一样的弹性。这需要你积极采用软件定义存
3、储方法,在商用服务器上运行,但是它比把 Hadoop 放在传统 SAN 或 NAS 技术上高效得多,因为后者给 Hadoop 造成了瓶颈。2. 超融合 vs 分布式不过要小心,别将超融合与分布式混为一谈。某些超融合方法是分布式的,但这个术语通常意味着你的应用程序和存储可以共同驻留在同一个计算节点上。解决数据局部性问题很诱人,但是这会造成严重的资源争夺现象。 Hadoop 应用和存储平台将争夺同样的内存和处理器资源。拉克希曼表示,最好在专用的应用层上运行 Hadoop,在专用的存储层中运行分布式存储,从而充分利用缓存和分层技术,以解决数据局部性和网络性能开销。3. 避免控制器阻塞点他强调了做到这一点的一个重要方面避免通过单一(或可能两个)点(比如传统控制器)来处理数据。通过改而确保存储平台并行化,就能显著提高性能。此外,这种方法提供了增量可扩展性。为数据湖添加容量就跟添加几台内置闪存或旋转磁盘的 x86 服务器一样简单。分布式存储平台可在必要时自动添加容量、重新均衡数据。4. 重复数据删除和压缩驾驭大数据的一个关键部分是重复数据删除和压缩。Hedvig 看到常见的大数据集可以缩减 70%
《扩展Hadoop的十大要点汇总_光环大数据培训》由会员gua****an分享,可在线阅读,更多相关《扩展Hadoop的十大要点汇总_光环大数据培训》请在金锄头文库上搜索。
做运营60%靠思维,40%靠经验,你的思维跟得上吗_光环大数据培训
长沙BI大数据培训_BI大数据工程师需要具备哪些高薪技能_光环大数据培训
智慧交通大数据平台搭建过程及应用案例_光环大数据培训
在DevOps中以API看待共享数据库_光环大数据培训
怎样才能成为一个高级Java工程师 —光环java培训机构
这可能是一篇数据化运营的大纲_光环大数据培训
自学大数据能找到工作吗_光环大数据培训
长沙大数据公司有哪些 参加大数据培训有钱途吗_光环大数据培训
中国大数据成熟盈利模型尚未建立_光环大数据培训
针对 MySQL 大规模数据库的性能和伸缩性的优化_光环大数据培训
怎样做数据分析_数据分析方法大全
怎么学习数据分析_数据分析软件汇总
怎样成为数据分析师_光环数据分析师培训
在大数据迅猛发展的今天隐私保护成了难题_光环大数据推出AI智客计划送2000助学金
长沙cpda数据分析培训_cpda考试流程
运营之道,千变万化,存乎一心_光环大数据培训
在Hadoop上运行Docker容器的六大陷阱_光环大数据培训
云计算平台点兵 谁在用AWS 谁在用Azure_光环大数据培训
自学java编程语言和参加java培训哪个更有前途—光环java培训机构
最用心的运营数据指标解读_光环大数据培训
2023-09-25 37页
2023-09-25 10页
2023-09-25 33页
2023-09-25 26页
2023-04-03 8页
2023-04-03 4页
2023-04-03 8页
2023-03-29 10页
2023-03-22 10页
2023-03-20 8页