云存储在广电领域应用技术研究——基于HDFS云存储系统的设计与实现.docx

云存储在广电领域应用技术研究——基于HDFS云存储系统的设计与实现摘　　要随着高清技术的普及和超高清技术的飞速发展，广播电视领域将产生更多的多媒体数据电视节目制作播出、后期视音频编辑、直播点播、虚拟演播室等多类型的业务系统，更多跨平台应用数据共享，对电视台存储系统的数据容量要求也越来越高新的发展机遇也对广电领域数据存储系统提的可用性和可靠性提出了更高的要求本文基于广播电视领域对存储系统的需求，调研广电领域云存储系统的现有成果、系统架构以及核心技术，并对其中的hadoop分布式文件系统进行了深入研究，探明其文件系统结构模型、相关节点作用分配、保证高可靠和安全性的策略与文件管理工作原理等通过实验，完成搭建三节点集群并设计简单基于HDFS的云存储系统，在web端实现文件（图片、视音频、文档文件）上传、下载、编辑、删除功能，加深了对分布式文件系统和集群存储的理解与掌握关键词：云存储，分布式文件系统，文件管理，集群ABSTRACTWith the coming of the era named ‘Third Generation’, the mobile communication technologies are changing its direction from providing simple services of voice and low speed data transmission to providing combination services of voice and multi-media data transmission with variable band-width. Antennas, as the most important part in the radio link of mobile communication, become an important research topic, and attract more and more attentions.Keywords: DSP, Spectral Analysis, FFT, MATLAB目 录摘　　要 IIABSTRACT III目 录 1一、 绪 论 2（一）云存储的背景和意义 2（二） 云存储技术发展现状 4二、 云存储平台架构 8（一） 系统结构 8（二）结构模型 11三、 云存储核心技术 13（一） 分布式 13（二） 集群化 17（三） 负载均衡 19四、 基于HDFS的云存储系统的设计与实现 22（一） 系统架构与设计思路 22（二）实验结果测试 27五、 总结与展望 29（一） 实验总结 29（二） 系统改进策略 29参考文献 31附录 32后记 321、 绪 论本章介绍了存储产品从传统存储架构DAS、NAS和SAN，到如今云存储的发展历程、各自的优势劣势。

分析基于数据信息量激增的时代背景和广电领域的工作特点，对云存储提出的新需求通过云存储在公众领域（iCloud、Google Drive）和企业(阿里云、Amazon S3)以及广电领域的华栖云系统应用实例，概述当下云存储系统在不同领域的不同应用形态，以及未来发展面临的挑战一）云存储的背景和意义为了满足存储系统的高性能和高索引要求，经过几代产品的换代，传统存储系统代表性产品主要包括以服务器为中心的 DAS、以数据为中心的NAS 以及以网络为中心的 SAN DAS(Direct Attached Storage)存储架构，是适用在小型网络和分散分布网络以及特殊的服务器上的，将外部存储设备直接与内部服务器连接的直接附加存储在对一些集群或数据库的原始分区中，都会用到DAS但DAS也具有一些劣势，它是一种低效的结构，不利于数据保护DAS结构复杂，数据保护机制也较为繁复，需要备份所有服务器备份时，数据流若不选择通过网络传输，则还需给每个服务器都配置备份软件或磁带，就会使备份过程更加复杂成本更高 NAS(Network Attached Storage) 即网络附加存储，它在很大程度上改进了DAS低效的存储方式。

NAS存储架构中采用与服务器独立的，单独为网络数据存储而开发的一种文件服务器来连接存储设备，自身形成一个网络这样数据存储就成为了一个独立的网络节点，可以被所用的网络用户共同使用，而非服务器的附属NAS使用NFS（Network File System）或 CIFS（Common Internet File System）命令集来访问数据，以文件为传输协议，通过 TCP/IP 实现网络化存储，实现文件的跨平台共享 NAS 具有更好的可扩展性且价格较为便宜、易于对用户进行管理，目前在群计算中应用较多的 NFS文件系统但 NAS的协议带宽低、延迟较大，不适合在高性能集群中应用 SAN(Storage Area Network) 即存储区域网络SAN通过专用交换网络(通常是光纤交换网络)，将多个存储设备连接到多个主机，任何主机都可以通过网络访问任何存储设备SAN具有高带宽和低延迟的优点然而，SAN很昂贵，而且可扩展性很差它不能实现跨平台的数据共享，也不能满足规模日益增大的高性能集群系统的需求SAN由三部分组成：存储设备，包括磁带、磁盘等;光纤通道网络连接组件，包括主机总线适配器、驱动程序、光纤电缆、集线器、交换机、光纤通道与SCSI之间的桥梁；应用管理软件，包括备份软件、存储资源管理软件、存储设备管理软件。

截至2003年，人类共创造出5GB的数据，而这些信息量在2011年产生只需要两天，2013年产生这些数据量只需要十分钟由于智能终端普及、物联网飞速发展、互联网和高速宽带的普遍应用、云计算的出现以及社交网络的兴起，预计到2020年，人类每年创造的数据量将达到40ZB数据量的增长速度超出人们的想象，大数据给存储系统带来了三个方面的挑战：存储规模大；存储管理复杂，需要兼顾结构化、非结构化和半结构化数据；数据种类繁多因此以上传统存储方式都不能满足大数据时代的存储需求为了应对这些挑战，构建高性能、大容量、高可用性的存储系统成为一种技术趋势 云存储是近些年来兴起的网络存储技术，它从云计算发展衍生而来，主要以存储数据和管理数据为核心云存储系统将大量的不同存储设备通过分布式、集群化、负载均衡等应用进行整合管理，分配不同的存储策略，使多个存储设备虚拟化为一个巨大的存储资源池，共同对外部提供数据存储和客户端访问的功能云存储实质上是一种服务，它使存储设备和具有管理能力的应用软件结合起来，对用户提供存储服务，实现了存储设备向服务的转型云存储系统相比于其他传统存储设备来说，它通过集群技术和虚拟化技术，可以实现扩容，在不影响存储任务进行也不浪费原有存储设备的基础上，实现优秀的横向扩展功能，这样既能满足海量数据大规模存储的需求，还可在一定程度上节约成本。

为了保证存储服务有效的进行，云存储系统必须保证数据存储的安全可靠以及实时，绝不可出现存储任务过程中宕机从而会影响到整个任务的进行的情况高可靠性和高可用性便成了云存储系统必备的基础条件 在广电领域，电视节目的播出过程数据会进行频繁的交换，这就对存储设备的访问速度和反应能力有着很高标准的需求此外，广电领域节目制作后期编辑时，要求素材可以随时快速被调用，以及保障电视台前后期制作各部门的协调合作的高效性也对存储系统提出了新的挑战目前，人们在观看视音频时对其效果和质量的评判标准逐渐增高，对高清、超高清等更高清晰度更高分辨率的渴望也越来越强烈，因此广电领域数据存储容量的需求也在不断增大广电领域网络系统对比IT网络更加特殊，由于其后端存储设备与大量传统音视频处理设备连接，因此需要构建支持海量视音频文件的高并发存储网络环境存储系统的容量、可靠性、可用性、可扩展性、安全性、易管理性都是广电行业需要关注的关键 云存储通过将基础资源虚拟化，动态调度和共享资源、分布式存储等技术，可以很好的解决过去广电网络存储系统的问题，在各单元间共享基础资源，各子系统时分、空分复用资源，极大地提升了资源地扩展性和利用率，也使资源的使用周期得以延长。

结合电视台节目制作生产流程，云存储演变为功能强大的“广电云”体系，设计提供发布、转码、存储、加速、加密、管理、统计等功能，用户通过管理后台或API接口，可实现视频上传、转码分发、对视频进行编辑到播放的整套视频发布流程，极大地提高广电领域视音频编辑发布的效率，方便多个部门协调工作，同时可以降低制作成本，提高广播电视节目制播的质量和效率二） 云存储技术发展现状云存储和云计算各自独立但又密不可分云计算中大规模数据集的存储交由云存储系统来负责，同样云存储系统本身也可以独立对外提供存储服务云存储通过将存储设备集合成一个大型虚拟存储池，协调配合，共同合理地完成大规模数据集地存储业务，并依靠统一地应用接口对外提供相关服务和访问功能使用云存储服务的过程中，我们不需要担忧由于设备接口不同而带来的种种麻烦，也不需要了解该设备的型号和传输协议，只需要通过统一API接口就可实现多个设备的连接互通用户不需要了解自己所存储的文件是如何进行拆分存储再合并下载的，也不要知道底层都用到了哪些存储设备和存储机制，庞大的存储设备集群对用户来说仅仅是一个存储设备，实现了存储的虚拟化在获得管理员授权或使用个人账号注册购买私有云之后，用户便可以使用云存储这项服务。

传统的存储系统架构正在被云存储所颠覆，人们对存储容量上限的认知也被云存储技术刷新，它的种种优势都受到了行业内外的广泛认同与好评随着云存储技术的日益成熟，以及产品方案的不断改进，许多公司都在积极开发完善其云存储服务，下文将简单介绍云存储在公众领域、企业领域的应用典例及其功能特点1.Google DriveGoogle公司在2012年4月正式推出了取代Google Docs的云存储应用“Google Drive”，用户可以通过统一的谷歌账户登陆该平台，并且该平台集成了谷歌自由的业务用户通过Google Drive可以发送大容量的附件，并且可以将Google Pasaca中的图片和视频与他人共享最主要的几大平台，如Mac、Windows、Android、iOS等都已被Google Drive覆盖，覆盖面也涵盖了PC、平板、等主流设备Google Drive依托于Chrome浏览器的应用商城，拥有多种多样的第三方应用，且其同步速度较高此外，Google拥有较好的用户基础和口碑，都为Google Drive提供了光明的发展前景基础功能包括上传照片、文件、音视频等到Google Drive中以及随时随地通过多种终端访问到存储空间。

Google Drive在Google Docs的基础上，升级增加了共享功能，并且通过接口整合了许多的外部应用，并且还在不断扩充发展Google Drive可以充分满足用户短时间内上传大文件的需求，对于付费用户还可以选择保存多个版本（对免费用户也可实现系统自动保存三十天之内的版本最多一百个）除了基础功能之外，Google Drive还拥有先进的图像识别技术和共享协作编辑能力 用户在Google Drive平台可以使用图像识别技术进行搜索，若用户输入的关键字在图片中有包含，那这些图片也会作为搜索结果显示用户还可以通过授权设置，将某文件设置为群体共享资源，被授权的人员都可以通过个人账号对文件进行在变编辑，使团队办公变得更加高效它的文档页面支持15种以上不同类型文件的查看与编辑且支持本地文件建立30个不同的应用格式，即使用户没有安装某应用程序，依然可以通过Google Drive打开该格式的文件2.iCloudiCloud是苹果公司2011年发布的专为苹果设。