您所在位置：网站首页 > IT计算机/网络 > 数据挖掘与识别告你HDFS是什么_光环大数据培训

告你HDFS是什么_光环大数据培训

4页

卖家[上传人]：gua****an

文档编号：50740373

上传时间：2018-08-10

文档格式：DOCX

文档大小：39.04KB

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

0 金贝

/ 4 举报版权申诉马上下载

文本预览

下载提示

常见问题

1、光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌光环大数据光环大数据 http:/告你告你 HDFS 是什么是什么_光环大数据培训光环大数据培训告你 HDFS 是什么. 干了半年 Hadoop 开发，前几天公司来了个 java 新人。小伙子对Hadoop 大数据感兴趣，问我什么是 HDFS 分布式文件系统?我想有疑问的不只是他一个 java开发，今天就简单的给大家介绍一下什么是 HDFS。1.HDFS 体系架构HDFS 是一个主/从(Master/Slave)体系架构，由于分布式存储的性质，集群拥有两类节点 NameNode 和 DataNode。NameNode(名字节点)：系统中通常只有一个，中心服务器的角色，管理存储和检索多个 DataNode 的实际数据所需的所有元数据。DataNode(数据节点)：系统中通常有多个，是文件系统中真正存储数据的地方，在NameNode 统一调度下进行数据块的创建、删除和复制。Client 是 HDFS 的客户端，是应用程序可通过该模块与 NameNode 和 DataNode 进行交互，进行文件的读写操作。对于刚开始接触 Hadoo

2、p 的同学，不建议直接看书自学。我最初就是自己啃书但是学的很费劲，没有目标不知道实际工作中需要什么。后来在论坛了认识了摆渡的孙哥，他给了我一套视频，内容很详细的，有基础入门，生态圈，真实案例我也是看了视频以后才慢慢入的门，到学会 Hadoop。计划学 Hadoop 的同学可以跟孙哥的小跟班 ganshiyun666，要这套视频的最新版，这个是徽亻言，注明：一点 2.HDFS 特点：光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌光环大数据光环大数据 http:/HDFS 专为解决大数据存储问题而产生的，其具备了以下特点：1) HDFS 文件系统可存储超大文件HDFS 是一种文件系统，自身也有块(block)的概念，其文件块要比普通单一磁盘上文件系统大的多，默认是 64MB。HDFS 上的块之所以设计的如此之大，其目的是为了最小化寻址开销。HDFS 文件的大小可以大于网络中任意一个磁盘的容量，文件的所有块并不需要存储在一个磁盘上，因此可以利用集群上任意一个磁盘进行存储，由于具备这种分布式存储的逻辑，所以可以存储超大的文件，通常 G、T、P 级别。(java 开发，jav

3、a 开发，java 开发，java 开发，java 开发，java 开发，java 开发，java开发，java 开发，java 开发) 2)一次写入，多次读取一个文件经过创建、写入和关闭之后就不需要改变，这个假设简化了数据一致性的问题，同时提高数据访问的吞吐量。3)运行在普通廉价的机器上Hadoop 的设计对硬件要求低，无需昂贵的高可用性机器上，因为在 HDFS 设计中充分考虑到了数据的可靠性、安全性和高可用性。3.不适用于 HDFS 的场景：1)低延迟 HDFS 不适用于实时查询这种对延迟要求高的场景 2)大量小文件光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌光环大数据光环大数据 http:/对于 Hadoop 系统，小文件通常定义为远小于 HDFS 的 block size(默认 64MB)的文件，由于每个文件都会产生各自的 MetaData 元数据，Hadoop 通过 Namenode 来存储这些信息，若小文件过多，容易导致 Namenode 存储出现瓶颈。(hadoop 开发，hadoop 开发，hadoop 开发，hadoop 开发，hadoop 开发，had

4、oop 开发，hadoop 开发，hadoop 开发，hadoop 开发，hadoop 开发) 3)多用户更新为了保证并发性，HDFS 需要一次写入多次读取，目前不支持多用户写入，针对有多人写入数据的场景，可以考虑采用 Hbase 的方案。4)结构化数据 HDFS 适合存储半结构化和非结构化数据，若有严格的结构化数据存储场景，也可以考虑采用 Hbase 的方案。(java 开发，java 开发，java 开发，java 开发，java 开发，java 开发，java 开发) 5)数据量并不大通常 Hadoop 适用于 TB、PB 数据，若待处理的数据只有几十 GB 的话，不建议使用Hadoop。以上是从 HDFS 的结构、特点和不适用的场景做了一点简单解释，希望对大家有帮助。为什么大家选择为什么大家选择光环大数据光环大数据！大数据培训、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请专业的大数据领域知名讲师，确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术，将前沿技能融入教学中，确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式，指导学生更快的掌握技能知识，成就上万个高薪就业学子。光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌光环大数据光环大数据 http:/【报名方式、详情咨询】光环大数据官方网站报名：http:/ /mobile/

《告你HDFS是什么_光环大数据培训》由会员gua****an分享，可在线阅读，更多相关《告你HDFS是什么_光环大数据培训》请在金锄头文库上搜索。

点击阅读更多内容

TA的资源