云计算技术综述.docx

云计算技术综述摘要：云计算是“以互联网为载体，利用虚拟化等手段整合大规模分布式可配置的计算资源 使其以服务的方式提供给用户，满足用户按需使用的计算模式”，然后从计算模式、科学研 究、社会发展等多个维度阐明了云计算作为现代计算技术发展的必然产物所具备的发展意 义，总结了国内外产业界、学术界、政府机构等在云计算方面的最新研究进展，深入分析了 云计算研究过程中的重点和难点，最后指出了云计算未来的发展趋势 关键词：云计算；虚拟化；海量数据处理引言所谓云计算，简单地说就是以虚拟化技术为基础，以网络为载体，以用户为主体为其提 供基础架构"平台"软件等服务为形式，整合大规模可扩展的计算"存储"数据"应用等分布式计 算资源进行协同工作的超级计算服务模式虚拟化为云计算实现提供了很好技术支撑，而云计 算可以看作是虚拟化技术应用的成果在过去的几年里，已经出现了众多云计算研究开发小 组，如谷歌、微软、亚马逊、华为、百度、阿里巴巴、中国电信等知名IT企业纷纷推出云 计算解决方案，同时，国内外学术界也纷纷就云计算及其关键技术相关理论进行了深层次的 研究本文力图在对各种云计算定义综合分析的基础上，提出 1 个相对系统和综合的参考性 定义，挖掘云计算的技术本质和发展意义，总结国内外最新研究进展，剖析研究过程中的重 点和难点，指出未来的发展趋势。

1、云计算的内涵和本质目前关于云计算的定义已有上百种而维基百科对云计算的定义也在不断更新，前后版本 的差别非常大据 2011 年给出的最新定义：云计算是一种能够将动态易扩展的虚拟化资源软件和数据 通过互联网提供给用户的计算方式，如同电网用电一样，用户不需要知道云内部的细节，也 不必具有管理那些支持云计算的基础设施伯克利云计算白皮书的定义：云计算包括互联网上各种服务形式的应用以及数据中心中 提供这些服务的软硬件设施应用服务即Saas，而数据中心的软硬件设施即所谓的云通过 量入为出的方式提供给公众的云称为公共云，而不对公众开放的组织内部数据中心的云称为 私有云美国标准化技术机构NIST定义云计算是一种资源利用模式，它能以方便、友好、按需 访问的方式通过网络访问可配置的计算机资源池(例如网络、服务器"存储、应用程序和服务)， 在这种模式中，可以快速供应并以最小的管理代价提供服务Sun 公司认为，云的类型有很多，而且有很多不同的应用程序可以使用云来构建，由于 云计算有助于提高应用程序部署速度，有助于加快创新步伐，因而云计算可能还会初心在我 们现在无法想象到的形式笔者认为：云计算是一种大规模资源共享模型，它是以虚拟技术为核心技术，以规模经 济为驱动，以Internet为载体，以用户为主体，按照用户需求动态地提供虚拟化的、可伸缩 性的商业计算模型。

云计算是一种服务模式而不单纯是一种技术在云计算模式下，不同种 类的 IT 服务按照用户的需求规模和要求动态的构建、运营和维护，用户一般以即用即付的 方式支付其利用资源的费用网络中的应用服务通常被称作SaaS,二数据中心软硬件设施即 资源池也就是所谓的云云”是一些可以自我维护和管理的虚拟计算资源，通常是一些大 型服务器集群，包括计算服务器、存储服务和宽带资源等总之，云计算是一种方便的使用方式和服务模式，通过互联网按需访问资源池模型(例 如网络、服务器、存储、应用程序和服务)，可以快速和最少的管 理工作为用户提供服务. 云计算是并行计算(parallel computing)、分布式计算(distributed computing)和网格计算 (grid computing)等技术的发展.云计算又是虚拟化(virtualization)、效用计算(utility com puting) 的商业计算模型，它由基础设施即服务、平台即服务和软件即服务3 种服务模式,公 共云、私有云、社区云、混合云 4 种部署模式云计算的 5个基本特点为：按需自助式服务、 广泛的网络访问、资源池、快速弹性使用、可度量的服务。

2、云计算的关键技术云计算作为一种新的超级计算方式和服务模式，以数据为中心，是一种数据密集型的超 级计算 .它运用了多种计算机技术，其中以编程模型、数据管理、数据存储、虚拟化和云计 算平台管理等技术最为关键.下面分别介绍云计算的一些关键技术2.1 编程模型MapReduce作为Google开发的Java、Python、C++编程模型，是一种简化的分布式编程 和高 效的任务调度模型，应用程序编写人员只需将精力 放在应用程序本身，使云计算环境 下的编程十分简单•而关于集群的处理问题，包括可靠性和可扩展性，则交由平台来处理M MapReduce模式的思想是通过“Map(映射)”和“Reduce(化简)”这样2个简单的概念 来构成运算基本单元，先通过 Map 程序将数据切割成不相关的区块，分配(调度)给大量 计算机处理，达到分布式运算的效果，再通过Reduce程序将结果汇整输出，即可并行处理 海量数据简单地说，云计算是一种 更加灵活、高效、低成本、节能的信息运作的全新方 式，通过其编程模型可以发现云计算技术是通过网络将庞大的计算处理程序自动分拆成无数 个较小 的子程序，再由多部服务器所组成的庞大系统搜 索、计算分析之后将处理结果回传 给用户.通过这 项技术,远程的服务供应商可以在数秒之内，达成 处理数以千万计甚至亿计 的信息，达到和“超级电脑”同样强大性能的网络服务。

2.2 海量数据分布存储技术云计算系统采用分布式存储的方式存储数据，用冗余存储的方式保证数据的可靠性.云 计算系统中广泛使用的数据存储系统是Google的GFS和Hadoop团队开发的GFS的开源实 现HDFSGFS即Google文件系统(Google File System),是个可扩展的分布式文件系统，用于 大型的、分布式的、对大量数据进行访问的应用GFS的设计思想不同于传统的文件系统， 是针对大规模数据处理和 Google 应用特性而设计的.它虽然运行于廉价的普 通硬件上，但 可以提供容错功能•它可以给大量的用户提供总体性能较高的服务•一个GFS集群由1个主 服务器(master)和大量的块服务器(chunks- erver)构成，并被许多客户(client)访问111 . 主服务 器存储文件系统所有的元数据，包括名字空间、访问控制信息、从文件到块的映射 以及块的当前位置•它还控制系统活动范围，如块租约(lease)管理，孤立块的垃圾收集， 块服务器间的块迁移•主服 务器定期通过心跳(HeartBeat)消息与每一个块服 务器通信，并 收集它们的状态信息2.3海量数据管理技术海量数据管理是指对大规模数据的计算、分析和处理，如各种搜索引擎以互联网为计 算平台的云计算能够对分布的、海量的数据进行有效可靠地处理和分析•因此，数据管理技 术必需能够高效地管理大量的数据，通常数据规模达TB甚至PB级.云计算系统中的数据 管理技术主要是Google的BT (BigTable)数据管理技术，以及Hadoop团队开发 的开源数据 管理模块HBase和Hive，作为基于Ha- doop的开源数据工具(http: # appengine. google, c om)，主要用于存储和处理海量结构化数据.BT是建立在GFS,Scheduler,LockService和MapRedu ce 的一个大型的分布式数据库，与传统的 关系数据库不同，它把所有数据都作为对象来处 理，形成一个巨大的表格，用来分布存储大规模结 构化数据。

Google的很多项目使用BT来存储数据，包括网页查询，Google Earth和Google金融. 这些应用程序对盯的要求各不相同：数据大小(从URL到网页到卫星图像)不同，反应 速度不同(从后端的大批处理到实时数据服务)对于不同的要求，BT都成功地提供了灵活 高效的服务2. 4 虚拟化技术虚拟化(virtualization)技术是云计算系统的核心组成部分之是将各种计算及存储资源充 分整合和 高效利用的关键技术.云计算的特征主要体现在虚拟 化、分布式和动态可扩展， 而虚拟化作为云计算最主 要的特点,为云计算环境搭建起着决定性作用.虚拟 化技术是伴随 着计算机技术的产生而出现的,作为云 计算的核心技术，扮演着十分重要的角色，提供了全 新的数据中心部署和管理方式,为数据中心管理员带 来了高效和可靠的管理体验，还可以 提高数据中心的 资源利用率，低功能绿色环保通过虚拟化技术，云计算中每一个应用部 署的环境和物理平台是没有关 系的，通过虚拟平台进行管理、扩展、迁移、备份，种种 操作都通过虚拟化层次完成.虚拟化技术实质是实现 软件应用与底层硬件相隔离，把物理资 源转变为逻辑可管理资源E344.目前云计算中虚拟化技术主要包括将单个资源划分成多个 虚拟资源的裂分模式,也包括将多个资源整合成一个虚拟资源的聚合模式.虚拟化技术根据对 象可分成存储虚拟化、计算虚拟化、网络虚拟化等，计算虚拟化又分为系统级虚拟化、应用 级 虚拟化和桌面虚拟化。

2.5 云计算平台管理技术云计算资源规模庞大，一个系统服务器数量众多(可能高达10 万台)、结构不同并且分 布在不同物 理地点的数据中心，同时还运行着成千上万种应用如何有效地管理云环境中 的这些服务器，保证整个系统提供不间断服务必然是一个巨大的挑战.云计算平台管理系统 可以看作是云计算的“指挥中心”通过云计算系统的平台管理技术能够使大量的服务器协 同工作，方便地进行业务部署和开通，快速发现和恢复系统故障，通过自动化、智能化的手 段实现大规模系统的可靠运营和管理3 云计算应用现状云计算平台是一个强大的“云”网络，连接了大 量并发的网络计算和服务，可利用虚 拟化技术扩展 每一个服务器的能力，将各自的资源通过云计算平 台结合起来，提供超级计 算和存储能力.下面就当前 云计算相关主要研究团队和组织的研究进展情况进 行对比分 析，为云计算相关研究提供参考.3.1国际上相关研究组织目前 国外已经有多个云计算的科学研究项目，非常有名是Scientific Cloud16和Open Nebula项目.产业界也在投入巨资部 署各自的云计算系统 参与者主要有Googla Ama-zon、 IBM、Microsoft等.国内关于云计算的研究也已起步，并在计算机系统虚拟化基础理论与方 法研究方面取得了阶段性成果•国际上云计算主要研究组织及研发方向如表1所示.团队组织Google商业项目Google App Engine,包括 Google 搜索、Google Maps、Google Earth、Google Ad- Gmail 等技术特征核心技术适用范围IBMAmazonMicrosoftEMCSalesforceOraclesense、蓝云”IBM云环境管理解决方案（企储存及运算水平扩平apR分散c技术' 充能力 BigTable, GFSGoogle各种日常互联网应用及 开发者开发和发布各种应用 程序整合其所有软件和网格技术，分布式存高性能计算（汽车和航天工业 模 会议服务、办公协作月艮硬件服务务、电子邮件服务），IBMRC2 （Ibm8大研究机构共同创建的私有业私有云Live （储，动态负载拟计算、生命科学领域染色体组 建模等）云）亚马逊网络服务（弹性计算云EC2、简单存 储服务S3、简单数据库服务sim- pleDB、简单 队歹J服务SQS、弹性MapRe- duce服务、 容P推送服务、电子商务服务DevPayAzure 平 台提供 Microsofi; .NET 服 务Microsoft SQL 服务、Live 服务内弹性虚拟平台和整合其所有软件及 数据服务虚拟技术Xen大型应用软件开发技术云存储基础架构EMC。