云计算的关键技术.docx

精选优质文档-----倾情为你奉上云计算的关键技术 摘要：云计算是一种新兴的计算模型，它是在网格计算的基础上发展而来的,它是指通过网络以按需、易扩展的方式来获得所需的信息服务，因此，又常常被称为本文介绍了云计算的发展历史，总结了云计算的关键技术：数据存储技术(Google File system)、数据管理技术(BigTable)、编程模型和任务调度等，分析了云计算和网格计算以及传统超级计算的区别，并指出了云计算的广阔发展前景关键词：云计算；编程模型；数据存储；数据管理；任务调度 正文: 云计算(cloud computing)是一种新近提出的计算模式是分布式计算(Dist uted computing)、并行计算(Parallelcomputing)和网格计算(Grid computing)的发展目前，亚马逊、微软、谷歌、IBM、英特尔等公司纷纷提出了“云计划”例如亚马逊的Aws(Amazon web services)⋯,IBM和谷歌联合进行的“蓝云”计划等这对云计算的商业价值给予了巨大的肯定 同时学术界也纷纷对云计算进行深层次的研究例如谷歌同华盛顿大学以及清华大学合作，启动云计算学术合作计划(Academic cloud ComputingInitiative)，推动云计算的普及，加紧对云计算的研究。

卡内基梅隆大学等对数据密集型的超级计算(Data Intensive supercomputing，DIsc) 进行研究，本质上也是对云计算相关技术开展研究云计算有着广泛的应用前景如表1所示云计算在天文学 、医学等各个领域有着广泛的应用前景趋势科技和瑞星等安全厂商纷纷提出了“安全云”计划在云计算关键技术研究过程中，主要对依赖于以下的技术支持，他们分别是数据存储技术(Google File system)、数据管理技术(BigTable)、编程模型和任务调度模型等，我们逐一进行介绍一．数据存储技术:为保证高可用、高可靠和经济性，云计算采用分布式存储的方式来存储数据，同时利用冗余存储的方式来保证存储数据的可靠性，即为同一份数据存储多个副本，这样避免当前的数据系统崩溃还有备用的数据可以马上回复工作另外，云计算系统需要同时满足大量用户的需求，并行地为大量用户提供服务因此，云计算的数据存储技术必须具有高吞吐率和高传输率的特点云计算的数据存储技术主要有谷歌的非开源的GFs(Google File System) 和Hadoop开发团队开发的GFS的开源实现HDFs(Hadoop Dist uted nle system) 。

大部分IT厂商，包括雅虎、英特尔的“云”计划采用的都是HDFS的数据存储技术云计算的数据存储技术未来的发展将集中在超大规模的数据存储、数据加密和安全性保证以及继续提高L／O速率等方面以GFs为例GFs是一个管理大型分布式数据密集型计算的可扩展的分布式文件系统它使用廉价的商用硬件搭建系统并向大量用户提供容错的高性能的服务GFS系统由一个Master和大量块服务器构成Master存放文件系统的所有元数据，包括名字空间、存取控制、文件分块信息、文件块的位置信息等GFs中的文件切分为64 MB的块进行存储在GFs文件系统中，采用冗余存储的方式来保证数据的可靠性每份数据在系统中保存3个以上的备份为了保证数据的一致性，对于数据的所有修改需要在所有的备份上进行，并用版本号的方式来确保所有备份处于一致的状态客户端不通过Master读取数据，避免了大量读操作使Master成为系统瓶颈客户端从Master获取目标数据块的位置信息后，直接和块服务器交互进行读操作GFs的写操作将写操作控制信号和数据流分开，如图所示：客户端在获取Master的写授权后，将数据传输给所有的数据副本，在所有的数据副本都收到修改的数据后，客户端才发出写请求控制信号。

在所有的数据副本更新完数据后，由主副本向客户端发出写操作完成控制信号当然，云计算的数据存储技术并不仅仅只是GFS，其他IT厂商，包括微软、Hado叩开发团队也在开发相应的数据管理工具本质上是一种分布式的数据存储技术，以及与之相关的虚拟化技术，对上层屏蔽具体的物理存储器的位置、信息等快速的数据定位、数据安全性、数据可靠性以及底层设备内存储数据量的均衡等方面都需要继续研究完善随着云存储已经成为未来存储发展的一种趋势，它是一切云技术的最基础，发展前景极其广阔但从未来云存储的发展趋势来看，云存储系统主要还需从安全性、便携性及数据访问等角度进行改进 （1）安全性 从云计算诞生，安全性一直是企业实施云计算首要考虑的问题之一同样在云存储方面，安全仍是首要考虑的问题，对于想要进行云存储的客户来说，安全性通常是首要的商业考虑和技术考虑但是许多用户对云存储的安全要求甚至高于它们自己的架构所能提供的安全水平既便如此，面对如此高的不现实的安全要求，许多大型、可信赖的云存储厂商也在努力满足它们的要求构建比多数企业数据中心安全得多的数据中心现在用户可以发现，云存储具有更少的安全漏洞和更高的安全环节，云存储所能提供的安全性水平要比用户自己的数据中心所能提供的安全水平还要高。

2）便携性 一些用户在托管存储的时候还要考虑数据的便携性一般情况下这是有保证的，一些大型服务提供商所提供的解决方案承诺其数据便携性可媲美最好的传统本地存储有的云存储结合了强大的便携功能可以将整个数据集传送到你所选择的任何媒介，甚至是专门的存储设备3）性能和可用性过去的一些托管存储和远程存储总是存在着延迟时间过长的问题同样地，互联网本身的特性就严重威胁服务的可用性最新一代云存储有突破性的成就，体现在客户端或本地设备高速缓存上，将经常使用的数据保持在本地，从而有效地缓解互联网延迟问题通过本地高速缓存，即使面临最严重的网络中断，这些设备也可以缓解延迟性问题这些设备还可以让经常使用的数据像本地存储那样快速反应通过一个本地NAS网关，云存储甚至可以模仿终端NAS设备的可用性、性能和可视性，同时将数据予以远程保护随着云存储技术的不断发展，各厂商仍将继续努力实现容量优化和WAN(广域网)优化，从而尽量减少数据传输的延迟性4）数据访问现有对云存储技术的疑虑还在于如果执行大规模数据请求或数据恢复操作，那么云存储是否可提供足够的访问性在未来的技术条件下，此点大可不必担心，现有的厂商可以将大量数据传输到任何类型的媒介，可将数据直接传送给企业，且其速度之快相当于复制、粘贴操作。

另外，云存储厂商还可以提供一套组件，在完全本地化的系统上模仿云地址，让本地NAS网关设备继续正常运行而无需重新设置未来，如果大型厂商构建了更多的地区性设施，那么数据传输将更加迅捷如此一来即便是客户本地数据发生了灾难性的损失，云存储厂商也可以将数据重新快速传输给客户数据中心二．数据管理技术：云计算系中的存储时一个分布式的，数据的存储量也是海量式的，这需要对大数据集进行处理、分析向用户提供高效的服务因此，数据管理技术必须能够高效地管理大数据集其次，如何在规模巨大的数据中找到特定的数据，也是云计算数据管理技术所必须解决的问题云计算的特点是对海量的数据存储、读取后进行大量的分析，数据的读操作频率远大于数据的更新频率，云中的数据管理是一种读优化的数据管理因此，云系统的数据管理往往采用数据库领域中列存储的数据管理模式将表按列划分后存储云计算的数据管理技术中最著名的有以下几种：(1)BigTable：BigTable是谷歌在文献[11]提出的BigTable数据管理技术由于采用列存储的方式管理数据，如何提高数据的更新速率以及进一步提高随机读速率是未来的数据管理技术必须解决的问题BigTable中的数据项按照行关键字的字典序排列，每行动态地划分到记录板中。

每个节点管理大约100个记录板时间戳是一个64位的整数，表示数据的不同版本列族是若干列的集合，BigTable中的存取权限控制在列族的粒度进行BigTab1e在执行时需要三个主要的组件：链接到每个客户端的库，一个主服务器，多个记录板服务器主服务器用于分配记录板到记录板服务器以及负载平衡，垃圾回收等记录板服务器用于直接管理一组记录板，处理读写请求等为保证数据结构的高可扩展性，BigTable采用三级的层次化的方式来存储位置信息，如图3所示 其中第一级的chubby file中包含Root Tablet的位置，Root Tablet有且仅有一个，包含所有METADATA tablets的位置信息，每个METADATA tablets包含许多user Table的位置信息当客户端读取数据时，首先从chubby file中获取RootTablet的位置，并从中读取相应METADATA tablet的位置信息接着从该METADATA tablet中读取包含目标数据位置信息的user Table的位置，然后从该user raJ)le中读取目标数据的位置信息项，据此信息到服务器中特定位置读取数据2)HBase HBase是一个分布式的、面向列的开源数据库，该技术来源于Changetal所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。

就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力HBase是Apache的Hadoop项目的子项目HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库.另一个不同的是HBase基于列的而不是基于行的模式3)Sector/SphereSector/Sphere是一个分页式存储系统与并行处理引擎与HDFS/Hadoop及Google的GFS/MapReduce类似Sector/Sphere由名字中描述的两部分组成Sector是一个高效、高伸缩性并且安全的分页式文件系统Sphere是一个高效的并行数据处理引擎，他处理来自Sector的数据文件，提供非常好用的接口定义处理流程4)Amazon S3 Amazon S3，全名为亚马逊简易储存服务（Amazon Simple Storage Service），由亚马逊公司，利用他们的亚马逊网络服务系统所提供的网络线上储存服务经由Web服务界面，包括REST, SOAP,与BitTorrent，提供用户能够轻易把档案储存到网络服务器上。

5)OpenStackOpenStack的Swift(Swift)是开源的，用来创建可扩展的、冗余的、对象存储（引擎）swift使用标准化的服务器存储PB级可用数据但它并不是文件系统(filesystem) ，实时的数据存储系统(real-timedata storage system)swift 看起来更像是一个长期的存储系统(long term storage system) ，为了获得、调用、更新一些静态的永久性的数据比如说，适合存储一些类型的数据：虚拟机镜像，图片存储，邮件存储，文档的备份没有“单点”或者主控结点(master point of control) ，swift看起来具有更强的扩展性、冗余和持久性云计算是一项正在兴起中的技术它的出现，有可能完全改变用户现有的以桌面为核心的使用习惯，而转移到以Web为核心，使用Web上的存储与服务人类有可能因此迎来一个新的信息化时代！云计算绝不仅仅是一个计算的问题，它需要融合许许多多的技术与成果现有的许多研究问题将来必然是云计算的一部分，例如Web数据集成、个人数据空间管理、数据外包服务、移动路网上的研究以及隐私问题的研究，都会成为未来云计算的重要组成部分。

但是现实中云计算也面临着诸多挑战首先，云计算和云数据管。