云计算服务的大规模计算网络.docx

云计算服服务的大大规模计计算网络络20110年04月21日文/李延延峰如果说提提供云计计算这种种巨型计计算服务务的IT架构必必然是集集结了大大规模基基础资源源的数据据中心“超级航航母”，它也也必然要要求大规规模计算算网络与与其相适适应 云计算算IT资源供供应模型型云计算既既然拥有有近乎无无限的计计算、存存储、数数据通信信能力，那那么提供供云计算算服务的的IT架构必必然是集集结了大大规模基基础资源源的数据据中心“超级航航母”云计算IIT资源的的大规模模集中运运营，可极大大优化基基础资源源的分布布与调度度，图1所示为为理想的的业务模模型对对于使用用云计算算服务的的企业或或个人而而言，能能够满足IT业务的的最佳方方式为计计算能力力按需增增长、应应用部署署快速实实现、工工作负载载可动态态调整、投投入成本本规划可可控；对对于云计计算服务务供应商商而言，为为满足大大量客户户(个人或或企业)的IT资源需需求，其其运营的的IT基础架架构需要要有一个个大规模模的资源源池，可可基于服服务客户户数量的的增长、客客户业务务负载增增长的需需求变化化情况提提供匹配配的IT资源支支持能力力图1云计计算IT资源供供应模型型大规模云云计算服服务运营营趋势大规模的的IT集中建建设与运运营带来来将是大大幅度的的成本节节约效应应。

据国国外一份份统计数数据显示示（如图图2所示），在在大规模模IT服务环环境下，网网络、存存储、服服务器/管理等等各方面面的投入入都会在在单位资资源尺度度内极大大降低，从从而在大大规模经经营条件件下使得得单位资资源带来来更大的的产出图2大规规模IT运营的的成本优优势 在大规规模云计计算运营营趋势下下，IT基础组组件必然然走向全全面标准准化，以以使得云云所支撑撑各部分分可以在在保持发发展的同同时相互互兼容当当前的虚虚拟化标标准组织织、云计计算标准准化组织织已经基基本形成成，它们们的工作作目的就就是制定定云计算算不同组组件、不不同技术术之间的的公共接接口，这这样众多多的软硬硬件供应应商能够够在云计计算环境境下提供供互通、协协作的标标准化产产品，从从而可期期望在远远期目标标上使得得云计算的的大规模模IT运营架架构逐步步摆脱隔隔离性、垄垄断性，使使公共服服务得以以构建在在开放的的公共化化标准技技术基础础上，并并随着技技术发展展而持续续性降低低成本对于大规规模的计计算网络络，在基基础形态态上主要要有两种种模式：：虚拟化化计算与与集群计计算其其实这两两种方式式并无完完全的割割离，即即可能分分别部署署，也可可能相互互结合。

一、      大规模模虚拟化化计算与与网络架架构虚拟化计计算技术术已经逐逐步成为为云计算算服务的的主要支支撑技术术，特别别是在计计算能力力租赁、调调度的云云计算服服务领域域起着非非常关键键的作用用在大规模模计算资资源集中中的云计计算数据据中心，以X86架构为基准的不同服务器资源，通过虚拟化技术将整个数据中心的计算资源统一抽象出来，形成可以按一定粒度分配的计算资源池，如图3所示虚拟化后的资源池屏蔽了各种物理服务器的差异，形成了统一的、云内部标准化的逻辑CPU、逻辑内存、逻辑存储空间、逻辑网络接口，任何用户使用的虚拟化资源在调度、供应、度量上都具有一致性图3大规规模虚拟拟化云计计算虚拟化技技术不仅仅消除大大规模异异构服务务器的差差异化，其其形成的的计算池池可以具具有超级级的计算算能力（如如图4所示），一一个云计计算中心心物理服服务器达达到数万万台是一一个很正正常的规规模一一台物理理服务器器上运行行的虚拟拟机数量量是动态态变化的的，当前前一般是是4到20，某些些高密度度的虚拟拟机可以以达到1000:1的虚拟拟比(即一台台物理服服务器上上运行100个虚拟拟机)，在CPU性能不不断增强强(主频提提升、多多核多路路)、当前前各种硬硬件虚拟拟化(CPPU指令级级虚拟化化、内存存虚拟化化、桥片片虚拟化化、网卡卡虚拟化化)的辅助助下，物物理服务务器上运运行的虚虚拟机数数量会迅迅猛增加加。

一个个大型IDC中运行行数十万万个虚拟拟机是可可预见的的，当前前的云服服务IDC在业务务规划时时，已经经在考虑虑这些因因素图4密集集的虚拟拟机群在虚拟化化云计算算网络环环境，超超高密度度的虚拟拟机数量量引入了了有别于于任何以以往传统统意义上上数据中中心的业业务承载载问题，在在表象相相似的网网络平台台上，“服务器/虚拟机”的数量量在单位位空间和单位位网络接接口剧增增，如图图5所示，对对基础网网络的转转发表项项、吞吐吐能力、突突发流量量吸收提提出了苛苛刻的要要求图5密集集的应用用与性能能要求虚拟化的的云中，计计算资源源能够按按需扩展展、灵活活调度部部署，这这由虚拟拟机的迁迁移功能能实现，虚虚拟化环环境的计计算资源源必须在在二层网网络范围围内实现现透明化化迁移（如如图6所示）图6透明明网络支支持虚拟拟资源的的调度迁迁移透明环境境不仅限限于数据据中心内内部，对对于多个个数据中中心共同同提供的的云计算算服务，要要求云计计算的网网络对数数据中心心内部、数数据中心心之间均均实现透透明化交交换（如如图7所示），这这种服务务能力可可以使客客户分布布在云中中的资源源逻辑上上相对集集中(如在相相同的一一个或数数个VLAN内)，而不不必关心心具体物物理位置置；对云云服务供供应商而而言，透透明化网网络可以以在更大大的范围围内优化化计算资资源的供供应，提提升云计计算服务务的运行行效率、有有效节省省资源和和成本。

图7大规规模虚拟拟化云计计算的透透明化网网络承载载二、      大规模模集群计计算与网网络架构构集群计算算很早就就广泛应应用了，只只是在不同的领域域有着不不同的表表现形式式，或者者说有不不同的术术语，如如在科学学计算领领域的并并行计算算或高性性能计算算当前主主要以集集群计算算的方式式实现集集群通过过一组松松散集成成的计算算机软件件和/或硬件件连接起起来高度度紧密地地协作完完成计算算工作，在在某种意意义上，集集群可以以被看作作是一台台计算机机人们使用用集群的的目的是是为了获获得强大大的计算算能力，虽虽然这可可以通过过购买具具备超级级计算能能力的大大型机来来实现，但但是在成成本投入入上是巨巨大的对对于一般般计算机机，计算算能力是是有限的的，虽然然摩尔定定律说计计算能力力每18个月可可以翻一一番，但但要达到到大型机机的性能能，很长长一段时时间内是是难以实实现的(摩尔定定律被普普遍认为为在过去去30年相相当有效效，未来来10~~15年应依依然适用用)因此此，为突突破摩尔尔定律的的限制，将将多台低低成本计计算机通通过集群群方式，以以并行计计算来获获取更大大的计算算能力，成成为各种种追求高高性能计计算领域域的主流流方向（如如图8所示）。

图8以集集群架构构超越摩摩尔定律律以互联网网应用为为例，有有的计算算服务要要求提供供超级计计算能力力，如大大型搜索索引擎的的构建，就就是大量量服务器器群共同同协作实实现的巨巨量计算算科研领域域并行计计算的主主流技术术是MPII(Meessaage Passsinng IInteerfaace))，但以以支持Forrtraan、C语言的的科学计计算为优优势云云计算领领域的代代表性技技术是Haddoopp(还有其其它类似似的分布布式计算算技术)，突出出商用的的扩展性性架构、大大数据量量处理，大大大简化化开发难难度，屏屏蔽系统统底层的的复杂性性Hdooop是目前前在互联联网使用用广泛的的一种云云计算支支撑架构构，借助助于Haddoopp,程序序员可以以轻松地地编写分分布式并并行程序序，将其其运行于于大型计计算机集集群上，完完成海量量数据的的计算图图9是当前前广为流流传的Haddoopp分布式式文件系系统体系系架构模模型，这这一类的的集群架架构将服服务器按按群分置置不同角角色群，角角色协同同完成大大规模计计算任务务图9 HHadooop分布式式文件系系统体系系架构这些角色色包括NammeNoode，它在 HDDFS内内部提供供元数据据服务；；DattaNoode，它为 HDDFS提提供存储储块。

NammeNoode是是一个通通常在 HDDFS实实例中的的单独机机器上运运行的软软件它它负责管管理文件件系统名名称空间间和控制制外部客客户机的的访问DattaNoode响响应来自自 HDDFS客客户机的的读写请请求NammeNoode与与每个 DaataNNodee有定期期心跳（heaartbbeatt）消息息检查健健康性分布式文文件系统统的设计计需求对对应到网网络的架架构上主主要有：：并发吞吞吐性能能、可伸伸缩性、容容错需求求等HDFSS的目标标就是构构建在大大规模廉廉价机器器上的分分布式文文件系统统集群，一一个文件件可以表表示为其其内容在在不同位位置的多多个拷贝贝这样样做带来来了两个个好处：：访问同同个文件件时可以以从多个个服务器器中获取取从而改改善服务务的伸缩缩性，另另外就是是提高了了容错能能力，某某个副本本损坏了了，仍然然可以从从其他服服务器节节点获取取该文件件同时时集群内内部还通通过心跳跳检测、集集群的负负载均衡衡等特性性提升容容错性传统HDDFS采用一一种称为为racck-aawarre的策略略来改进进数据的的可靠性性、有效效性和网网络带宽宽的利用用，典型型的组网网逻辑如如图10所示(也是流流传比较较广泛的的一张图图，笔者者未加修修改)。

图10经经典的Haddoopp组网结结构图10中中每个交交换及所所接服务务器被安安装在数数据中心心的同一一个机架架(raack))内，该该交换机机称为Topp off raack swiitchh，典型型情况下下每个机机架内部部署40台服务务器(国外比比较流行行，国内内当前达达到这样样密度的的IDC很少)，一般般采用48千兆端端口的交交换机，传传统设计计中会采采用4个到8个千兆兆上行，因因此每个个机架上上行的带带宽收敛敛比一般般在5:11~100:1不同机架架间的两两台机器器的通讯讯需要通通过交换换机，显显然通常常情况下下，同一一个机架架内的两两个节点点间的带带宽会比比不同机机架间的的两台机机器的带带宽大因因此Haddoopp的一个个假设是是：机架架内部节节点之间间的传输输速度快快于机架架间节点点的传输输速度通过一个个称为Racck AAwarreneess的过程程，Nammenoode决定了了每个Dattanoode所属的racck iid一个个简单但但没有优优化的策策略就是是将副本本存放在在单独的的机架上上这样样可以防防止整个个机架（非非副本存存放）失失效的情情况，并并且允许许读数据据的时候候可以从从多个机机架读取取。

这个个简单策策略设置置可以将将副本分分布在集集群中，有有利于组组件失败败情况下下的负载载均衡但但是，这这个简单单策略加加大了写写的代价价，因为为一个写写操作需需要传输输bloock到多个个机架为了降低低整体的的带宽消消耗和读读延时，HDFFS会尽量量让reaaderr读最近近的副本本如果果在reaaderr的同一一个机架架上有一一个副本本，那么么就读该该副本如如果一个个HDFFS集群跨跨越多个个数据中中心，那那么reaaderr也将首首先尝试试读本地地数据中中心的副副本HDFSS支持数数据的均均衡分布布处理，如如果某个个Dattanoode节点上上的空闲闲空间低低于特定定的临界界点，那那么就会会启动一一个计划划自动地地将数据据从一个个Dattanoode搬移到到空闲的的Dattanoode当对对某个文文件的请请求突然然增加，那那么也可可能启动动一个计计划创建建该文件件新的副副本，并并分布到到集群中中以满足足应用的的要求我们可以以看到，Haddoopp系统在在开发过过程中关关注了数数据交换换。