计算机前沿技术
.：刘洋学号：1计算机前沿技术云计算摘要：论文对新兴的计算模型云计算进行了简要的介绍。论文给出了云计算的定义，介绍了云计算的发展背景和应用场景，分析了云计算和网格计算以及传统超级计算的区别, 总结了云计算的关键技术：存储技术、数据管理技术以及编程模型。关键词：云计算; 数据存储; 数据管理; 编程模型一、云计算的定义及特点云计算(Cloud Computing)是一种新近提出的计算模式。维基百科给云计算下的定义：云计算将IT相关的能力以服务的方式提供给用户，允许用户在不了解提供服务的技术、没有相关知识以及设备操作能力的情况下，通过Internet获取需要服务1。中国云计算网将云定义为：云计算是分布式计算（Distributed Computing）、并行计算（ParallelComputing）和网格计算（Grid Computing）的发展，或者说是这些科学概念的商业实现2。Forrester Research 的分析师 James Staten 定义云为:“云计算是一个具备高度扩展性和管理性并能够胜任终端用户应用软件计算基础架构的系统池”。虽然目前云计算没有统一的定义，结合上述定义，可以总结出云计算的一些本质特征，即分布式计算和存储特性，高扩展性，用户友好性，良好的管理性。云计算技术具有以下特点：(1) 云计算系统提供的是服务。服务的实现机制对用户透明，用户无需了解云计算的具体机制，就可以获得需要的服务。(2) 用冗余方式提供可靠性。云计算系统由大量商用计算机组成机群向用户提供数据处理服务。随着计算机数量的增加，系统出现错误的概率大大增加。在没有专用的硬件可靠性部件的支持下，采用软件的方式，即数据冗余和分布式存储来保证数据的可靠性。(3) 高可用性。通过集成海量存储和高性能的计算能力，云能提供一定满意度的服务质量。云计算系统可以自动检测失效节点，并将失效节点排除，不影响系统的正常运行。(4) 高层次的编程模型。云计算系统提供高级别的编程模型。用户通过简单学习，就可以编写自己的云计算程序，在“云”系统上执行，满足自己的需求。现在云计算系统主要采用Map-Reduce模型。(5) 经济性。组建一个采用大量的商业机组成的机群相对于同样性能的超级计算机花费的资金要少很多。二、云计算的发展和应用背景目前，亚马逊，微软，谷歌，IBM，Intel等公司纷纷提出了“云计划”。例如亚马逊的AWS (AmazonWeb Services) 3、IBM和谷歌联合进行的“蓝云”计划等。这对云计算的商业价值给予了巨大的肯定。同时学术界也纷纷对云计算进行深层次的研究。例如谷歌同华盛顿大学以及清华大学合作，启动云计算学术合作计划(Academic Cloud Computing Initiative)，推动云计算的普及，加紧对云计算的研究。美国卡耐基梅陇大学等提出对数据密集型的超级计算（DISC：Data Intensive SuperComputing）进行研究，本质上也是对云计算相关技术开展研究。IDC的调查显示，未来五年云计算服务将急速增长，预期2012年市场规模可达420亿美元。目前企业导入云计算已逐渐普及，并且有逐年成长趋势。估计在2012年，企业投入在云计算服务的支出将占整体IT成本的25%，甚至在2013年提高至IT总支出的三分之一。由此可见，在各大公司以及学术界的共同推动下，云计算技术将会持续发展。云计算有着广泛的应用前景。如表所示：表云计算的应用领域领域应用场景科研地震监测海洋信息监测医学DNA信息分析海量病例储存分析医疗影像处理网络安全病毒库储存垃圾邮件屏蔽图形和图像处理动画素材分析海量图片检索互联网在线实时翻译网络检索服务三、云计算与其他传统超级计算的区别超级计算机拥有强大的处理能力，特别是计算能力。2008年11月17日，最新一期的Top500榜单发布。冠军“RoadRunner”是IBM为美国 Los Alamos 国家实验室建造的计算机系统。它的运算速度达到了1.026 Petaflop/s。RoadRuner超级计算机包含12960个IBM PowerXcell 8i处理器以及6948个分布于刀片服务器上的AMD Opteron芯片刀片服务器安装在288个IBMBladCener机架上。RoadRuner拥有80TB的内存，外存使用1.5PB容量的Panasas存储，外存通过10Gb/秒以太网进行连接。耗资超过1亿美元。TOP500对超级计算机的排名方式可以看出，传统的超级计算机注重运算速度和任务的吞吐率。以运算速度为核心进行计算机的研究和开发。而云计算则以数据为中心，同时兼顾系统的运算速度。传统的超级计算机耗资巨大，远超云计算系统。例如，趋势科技花费1000多万美元租用34000多台服务器，构建自身的“安全云”系统。四、云计算的关键技术云计算是一种新型的超级计算方式，以数据为中心，是一种数据密集型的超级计算。在数据存储、数据管理、编程模式等方面具有自身独特的技术。4.1 数据存储技术为保证高可用、高可靠和经济性，云计算采用分布式存储的方式来存储数据，采用冗余存储的方式来保证存储数据的可靠性，即为同一份数据存储多个副本。另外，云计算系统需要同时满足大量用户的需求，并行地为大量用户提供服务。因此，云计算的数据存储技术必须具有高吞吐率和高传输率的特点。云计算的数据存储技术主要有谷歌的非开源的GFS（Google File System）和 Hadoop 开发团队开发的GFS的开源实现HDFS（Hadoop Distributed FileSystem）。大部分IT厂商，包括yahoo、Intel的“云”计划采用的都是HDFS的数据存储技术。未来的发展将集中在超大规模的数据存储、数据加密和安全性保证、以及继续提高I/O速率等方面。4.2 数据管理技术云计算系统对大数据集进行处理、分析向用户提供高效的服务。因此，数据管理技术必须能够高效的管理大数据集。其次，如何在规模巨大的数据中找到特定的数据，也是云计算数据管理技术所必须解决的问题。云计算的特点是对海量的数据存储、读取后进行大量的分析，数据的读操作频率远大于数据的更新频率，云中的数据管理是一种读优化的数据管理。因此，云系统的数据管理往往采用数据库领域中列存储的数据管理模式。将表按列划分后存储。云计算的数据管理技术最著名的是谷歌的BigTable数据管理技术，同时Hadoop开发团队正在开发类似BigTable的开源数据管理模块。由于采用列存储的方式管理数据，如何提高数据的更新速率以及进一步提高随机读速率是未来的数据管理技术必须解决的问题。4.3 编程模式为了使用户能更轻松的享受云计算带来的服务，让用户能利用该编程模型编写简单的程序来实现特定的目的，云计算上的编程模型必须十分简单。必须保证后台复杂的并行执行和任务调度向用户和编程人员透明。云计算采用类似MAP-Reduce的编程模式。现在所有IT厂商提出的“云”计划中采用的编程模型，都是基于MAP-Reduce的思想开发的编程工具。MAP-Reduce不仅仅是一种编程模型，同时也是一种高效的任务调度模型。Map-Reduce这种编程模型并不仅适用于云计算，在多核和多处理器、cellprocessor、以及异构机群上同样有良好的性能16，17，18。该编程模式仅适用于编写任务内部松耦合、能够高度并行化的程序。如何改进该编程模式，使程序员得能够轻松的编写紧耦合的程序，运行时能高效的调度和执行任务，是Map-Reduce编程模型未来的发展方向。五、结语综上所述，云计算是一种新型的计算模式。它的最主要特征是系统拥有大规模数据集、基于该数据集，向用户提供服务。它使用大量的普通商用机来构建系统，通过冗余存储的方式确保整个系统的可靠性和可用性。与传统超级计算机在底层编程不同，数据密集计算的云系统上使用基于Map-Reduce的高级编程模式。这使得编程人员可以不用考虑底层的并行化方式，专心与程序的逻辑实现。普通用户经过简单的学习，可以编写出满足自身需要的简单程序。越来越多的IT厂商提出了自己的“云”计划，并投入大量资金推动云计算的发展。这恰恰为云计算提供了良好的发展机遇。虽然现在的云计算并不能完美地解决所有的问题，但是在不久的将来，一定会有越来越多的云计算系统投入实用，云计算系统也会不断地被完善，并推动其他科学技术的发展。. v
