云计算之HDFS幻灯片资料.ppt

1主要内容 Hadoop项目简介 HDFS体系结构 HDFS关键运行机制 Hadoop VS.Google（分布式文件系统） Hadoop API Hadoop环境搭建2Hadoop项目简介 吃水不忘挖井人Doug Cutting简介：Lucene（开源的全文检索包人）、 Nutch（开源搜索引擎）、hadoop创始人曾经在是雅虎搜索工程师，后面加入Cloudera,发展hadoop的企业级应用一位盗火者，把高深的搜索引擎技术带给普通大众3Hadoop项目简介 Apache的解决方案GoogleGoogle云计算云计算MapReduceMapReduceBigTableBigTableGFSGFSChubbyChubbyGFS-HDFSMapReduce-HadoopBigTable-HBase5HDFS体系结构 NameNodeMaster DataNodeChunksever6 一个名字节点和多个数据节点 数据复制（冗余机制） -存放的位置（机架感知策略） 故障检测-数据节点 心跳包（检测是否宕机） 块报告（安全模式下检测） 数据完整性检测（校验和比较）-名字节点（日志文件，镜像文件） 空间回收机制 HDFS关键运行机制-保障可靠性的措施7HDFS关键运行机制-写文件流程 客户端缓存 流水线复制 并发写控制 流程：1.客户端把数据缓存到本地临时文件夹2.临时文件夹数据超过64M，客户端联系NameNode， NameNode分配DataNode，DataNode依照客户端的位置被排列成一个有着最近物理距离和最小的序列3.与序列的第一个数据服务器建立Socket连接，发送请求头，然后等待回应，依次下传，客户端得到回包，流水线建立成功，4. 正式发送数据，以4K为大小传送8HDFS关键运行机制-读文件流程 客户端联系NameNode,得到所有数据块信息，以及数据块对应的所有数据服务器的位置信息 尝试从某个数据块对应的一组数据服务器中选出一个，进行连接（选取算法未加入相对位置的考虑） 数据被一个包一个包发送回客户端，等到整个数据块的数据都被读取完了，就会断开此链接，尝试连接下一个数据块对应的数据服务器，整个流程，依次如此反复，直到所有想读的都读取完了为止9HDFS VS. GFS 总体架构的比较 数据结构化管理组件：HbaseBigTable 并行计算模型：MapReduceMapReduce 分布式文件系统：HDFSGFS Hadoop缺少分布式锁服务ChubbyHBaseMapReduceHDFSBigTableMapReduceGFSHadoop云计算应用Google云计算应用10HDFS VS. GFS HDFS与GFS比较 中心服务器模式的差异 GFS：多台物理服务器，选择一台对外服务，损坏时可选择另外一台提供服务 HDFS：单一中心服务器模式，存在单点故障 原因：Hadoop缺少分布式锁服务11HDFS VS. GFS HDFS与GFS比较 子服务器管理模式差异 GFS：Chunk Server在Chubby中获取独占锁表示其生存状态，Master通过轮询这 些独占锁获 知Chunk Server的生存状态 HDFS：DataNode通过心跳的方式告知NameNode其生存状态 GFS中，Master损坏时，替补服务器可以快速获知Chunk Server的状态 HDFS中，NameNode损坏后，NameNode恢复时需要花费一段时间获 知DataNode的状态 在添加数据存储节 点时，GFS的伸缩性较HDFS要好 原因：Hadoop缺乏分布式锁服务12HDFS VS. GFS HDFS与GFS比较 HDFS具备安全模式 获知数据块副本状态，若副本不足，则拷贝副本至安全数目（如3个） GFS不具备安全模式 副本损坏处理：API读取副本失败时，Master负责发起拷贝任务13HDFS VS. GFS HDFS与GFS比较 HDFS具备空间回收机制 文件删除时，仅删除目录结构 实际数据的删除在等待一段时间后实施 优点：便于恢复文件14HDFS API简单的HDFS API：hdfs.copyFromLocalFile(path srcPath, path dstPath)上传本地文件到HDFS的指定位置上eg: 1.Configuration config = new Configuration();2.FileSystem hdfs = FileSystem.get(config);3.Path srcPath = new Path(srcFile);4.Path dstPath = new Path(dstFile);5.hdfs.copyFromLocalFile(srcPath, dstPath);hdfs.create(path path)创建HDFS文件1.Configuration config = new Configuration();2.FileSystem hdfs = FileSystem.get(config);3.Path path = new Path(fileName);4.FSDataOutputStream outputStream = hdfs.create(path);5.outputStream.write(buff, 0, buff.length);15HDFS API 常用的HDFS API：hdfs.rename(Path fromPath, Path toPath)重命名hdfs文件hdfs.delete(Path f, Boolean recursive) 删除指定HDFS文件hdfs.exists(Path path)检查指定路径是否存在16HDFS -安防行业的应用前景 HDFS存储相对传统存储的优势 硬盘使用寿命 传统存储：硬盘每天24小时不停的读写，造成寿命锐减。

HDFS存储：多硬盘并行工作，负载均衡保证不会过度使用硬盘17HDFS -安防行业的应用前景 HDFS存储相对传统存储的优势 海量数据存储 传统存储：海量视频存储对硬盘要求过高，不能动态增加硬盘容量，扩展容量方便 HDFS存储：可以动态增加容量，容量抽象为没有上限，流式存储很适合视频数据18HDFS -安防行业的应用前景 HDFS存储相对传统存储的优势 海量数据分析 传统存储：从海量视频数据存储中分析数据基本无法实现 HDFS存储：和hadoop另外的MapReduce分布式计算架构配合，可以进行海量视频数据的分析19HDFS -安防行业的应用前景 HDFS存储的缺点 实际存储数据比应存数据多 传统存储：一份数据只需要存储一份 HDFS存储：一份数据需要至少两份的存储才能保证容错设计，造成实际存储大小比应该存储大小大2倍以上20HDFS -安防行业的应用前景 HDFS存储的缺点 Linux系统 传统存储：和操作系统关系不大，而且很容易在大家常用的windows上存储 HDFS存储：现阶段只保证在Linux下运行稳定，windows下不支持hadoop运行稳定21HDFS -安防行业的应用前景谢谢!。