《云计算导论》李伯虎、李兵云计算导论第3章3.1

云计算导论,第三章 云计算系统的使能技术,本章知识点,云计算系统的技术基础 分布式技术和虚拟化技术 云平台的技术发展状况 服务计算、多租户以及容器技术,3.1 云计算技术基础,3.1.1云计算硬件技术基础 3.1.2云计算网络技术基础,3.1.1云计算硬件技术基础,对于用户而言，云计算是一朵飘在天上的云，它表现给用户的是统一的面貌，而用户对于自己的资源和数据却是“云深不知处”。 云计算建立在大量坚实的物理硬件之上。无论个人计算机系统还是云计算系统，都可以分为计算、存储和通信三个子系统。,1. 计算设备,在云计算系统中，计算设备也常常被笼统称为主机（Host），是支撑系统运行的最基础设施。主要包括服务器、大型机、服务器群集、笔记本电脑、台式机、平板电脑、智能手机、虚拟计算机等各种类型。 主机一般由CPU（中央处理器）、内存、I/O接口和I/O设备构成。,随着云计算与大数据的发展，“算得多”（高通量）与“算得好”（高服务质量）成为主机系统体系结构设计的新标准，也有着更迫切的需求。高通量（High Throughput）计算机应运而生。 高通量计算机计划利用低成本、高拓展、集中的硬件和软件系统栈处理高并发和独立的数据密集型负载，为了达到此目的，它需要解决三个方面的问题： （1）多核超大规模并行、内核任务的动态调度 （2）引入专用计算处理器，专用计算处理器最常见的是图形处理器（Graphics Processing Unit，GPU）芯片。 （3）算存一体的内存计算技术，内存计算正是建立在主机超大容量内存系统的基础之上，最大限度利用内存的容量，结合多核并行计算优势，将数据分批的放入内存，实现数据容错和重用，中间数据不落地，从而实现海量数据的快速运算。,2. 网络通信设备,云计算是互联网计算，除了主机作为云计算节点外，还必须有各式各样的通信设备来实现网络的互连，网络通信设备及部件都是连接到网络中的物理实体。主要包含中继器、集线器、交换机、网桥、路由器、网关、防火墙等。,3. 存储设备,当基本任务是大量数据的存储、处理与管理时，云计算系统中就需要配置大量的存储设备，云计算系统也就转变成为一个云存储系统。 云化的存储需要大量各种不同类型的存储设备集合起来协同工作。,（1）常见存储介质,磁带：按顺序进行数据访问，一次进行一项应用程序访问，存储/检索开销大。 光盘：在小型的单用户计算环境中广泛用作分发介质，在容量和速度方面有限。 磁盘驱动器：一般称为硬盘，最为流行的存储介质，可随机读/写访问，为云存储首选存储设备。 闪存驱动器：使用半导体介质，低功耗，速度快，可用于存储分级存储快速缓存部分。常见有优盘，固态硬盘（Solid State Drives，SSD）等。,（2）常用存储接口协议,串行高级技术附件 (Serial Advanced Technology Attachment，SATA)存储互连成本低廉，通常用于内部连接，提供的数据传输速度高达 6 Gb/s（标准 3.0）。 小型计算机系统接口 (Small Computer System Interface，SCSI)是连接主机与外围设备的并行接口标准，用于计算机主机与硬盘、打印机等外设的连接，也可用于与其他计算机和局域网的连接，一条总线上最多支持 16 个设备。串行连接SCSI (Serial SCSI，SAS)现已逐步取代并行SCSI，支持的最大数据传输速度为 6 Gb/s (SAS 2.0),（3）硬盘存储器,数据管理技术历经人工管理、文件管理、数据库管理等时代，大数据技术的出现使该领域进入了一个新的发展阶段,数据管理技术发展历史,1946,1951,1956,1961,1970,1974,1979,1991,2001,2003,2008,2011,第一台计算机ENIAC面世,磁带+卡片 人工管理,磁盘被发明，进入文件管理时代,SQL,E-R,GE公司发明第一个网络模型数据库，但仅限于GE自己的主机,1960年代，IT系统规模和复杂度变大，数据与应用分离的需求开始产生，数据库技术开始萌芽并蓬勃发展，并在1990年后逐步统一到以关系型数据库为主导,IBM E.F.Dodd提出关系模型,SQL语言被发明,关系型 数据库,ORACLE发布第一个商用SQL关系数据库，后续快速发展,数据仓库,数据仓库开始涌现，关系数据库开始全面普及且平台无关，进入成熟期,2001年后，互联网迅速发展，数据量成倍递增，量变引起质变，开始对数据管理技术提出全新的要求,1946年，电脑诞生，数据与应用紧密捆绑在文件中，彼此不分,Hadoop成为Apache顶级项目，重点支持海量数据分布式管理和分布式计算,GFS,谷歌发表论文介绍分布式计算,数据库VS.大数据,数据池塘,数据海洋,古代，人们用牛来拉重物。当一头牛拉不动一根圆木时，他们想的并不是培育更大更壮的牛。同样，我们也不需要动辄使用超级计算机，而应试着结合使用更多计算机系统。,（4）磁盘阵列,批量数据迁移,以100TB数据为例，从旧金山上传到硅谷的数据中心可能要1个月，而用马车搬运只需要3天。,IBM Cloud Mass Data Migration (大数据迁移上云) 2017, 28寸的行李箱，120TB的数据,数据传输从之前几周甚至几个月缩减到7天，每次租用395美金,2015年，亚马逊AWS发布Snowball，容纳50TB数据 Snowmobile一节45英尺的集装箱，最多能存储100PB的数据,2017 阿里云: 闪电立方 100TB的数据。提供最高30：1的压缩比,谷歌： Transfer Appliance,100TB的售价为300美元，加上运费，总费用约为500美元。480TB版本的售价为1800美元，另外需要加上约900美元的运费。,（5）网络存储技术,服务器和存储节点自身携带的存储器容量远远不能满足业务应用的需求，外置存储成为数据存储的主要存储区域。为了更好地与主机直接进行数据交换，业界开发了不同的网络存储技术： 1）光纤通道存储区域网络 (FC-SAN) 2）IP通道存储区域网络IP-SAN 3）网络连接存储（NAS）,光纤通道存储区域网络 (FC-SAN),IP通道存储区域网络IP-SAN,网络连接存储（NAS）,3.1.2云计算网络技术基础,云是网络、互联网的一种比喻说法，云计算是互联网发展的结果，因此，云计算的物理基础之一是互联网中各种设备的互联互通。 互联网自身的发展经历了三个阶段。 第一阶段是传统网络，传统门户网站是其主要代表，特点是内容为主、服务为辅，信息单向传播。 第二阶段是新型互联网网站和内容流型社交网络并存，特点是内容服务出现信息交互。 第三阶段是移动应用程序 (Application，APP)与消息流型社交网络并存的阶段，特点是网站弱化、消息流为主，内容流为辅。 第四阶段即将来临，主要表现形式是超级APP，它将以用户为基础，承载一切的内容与服务，特点是全面整合、智能服务。互联网应用带来数据的爆炸性增长促成了云计算技术的诞生和发展。,信息化3.0 大数据驱动信息化的第三波浪潮,全球数据总量统计 （数据来源：IDC） 2003年，5百万TB 2009年，约8亿TB 2012年，约27亿TB 2020年，预计440亿TB,人与人、人与机器、机器与机器交互，生成和采集TB、PB甚至EB的试实时数据,物联网,1. 计算机网络通信协议,主机信息连通示意图,（1）OSI七层协议各层功能简介,1）物理层为设备之间的数据通信提供传输媒体及互连设备，为数据传输提供可靠的环境。直观地，物理层传递的是由不同信号表示的比特流。 2）数据链路层介乎于物理层和网络层之间。物理传输介质是长期的，但数据连接是有生存期的。在连接生存期内，收发两端可以进行一次或多次数据通信。每次通信都要经过建立通信联络和拆除通信联络两个过程。这种建立起来的数据收发关系就叫做数据链路。为了传输数据的准确，需要该层对物理层数据进项检错、纠错。数据链数层传输的数据格式为数据帧。,3）网络层位于传输层和数据链路层之间，它在数据链路层提供的两个相邻端点之间的数据帧的传送功能上，进一步管理网络中的数据通信，将数据设法从源端经过若干个中间节点传送到目的端，从而向运输层提供最基本的端到端的数据传送服务。工作示意图所下：,4）传输层是七层协议中最重要、最关键的一层，唯一负责总体的数据传输和数据控制的一层。传输层提供端到端的交换数据的机制。传输层对会话层等高三层提供可靠的传输服务,对网络层提供可靠的目的地站点信息。从通信和信息处理的角度看，运输层向它上面的应用层提供通信服务，它属于面向通信部分的最高层，同时也是用户功能中的最低层。,5）会话层主要功能是按照在应用进程之间约定的原则，按照正确的顺序收、发数据，进行各种形态的对话。 6）表示层主要功能是把应用层提供的信息变换为能够共同理解的形式，提供字符代码、数据格式、控制信息格式、加密等的统一表示。 7）应用层是开放模型的最高层，是直接为应用进程提供服务的。,（2）传统网络和云环境网络的异同,云环境网络拓扑结构示意图,大二层的网络架构,2数据通信技术,通信就是信息从一地到另一地的传递和交流过程。集成电路和超大规模集成电路的普遍使用使得计算机技术进入通信领域，改变了通信技术面貌。光纤技术将传统的电通信带入了光通信时代。 基于蜂窝移动电话技术的移动通信由于其便利性、个人化和无处不在的特性得到广泛应用，成为目前现代通信发展最快的领域。,电磁波频谱,2数据通信技术,（1）双绞线 双绞线(Twisted Pairwire)是常用的一种传输介质，它由四组两根具有绝缘保护层的铜导线按一定规格互相绞扭在一起，使导线在传输中辐射的电磁波相互抵消，以降低串扰。双绞线电缆在现有传输媒体中价格最为低廉，因而应用也最广。 （2）同轴电缆 同轴电缆（Coaxial Cable）由两层同心的导体构成，中心导体是硬铜线，外层是密织的网状导体，两层之间是一层绝缘材料，最外层包覆一层保护橡胶或塑料护套。同轴电缆的这种结构，使它具有高带宽和极好的抗干扰特性。家庭常见的有线电视电缆就是同轴电缆。下图展示的是同轴电缆结构。,（3）光缆 光缆（Fiber Optic Cable）的核心是光导纤维，简称光纤。光纤通信是通过光信号的有无来表示二进制1或0，因此光纤是典型的数字信道。光缆可以是单股或多股光纤构成，由中间的加强芯和外层塑料护套提供必要的强度，光纤与塑料护套间的空隙可填充以泡沫、细线或以液体胶等物。,3. 宽带技术,光纤接入技术,4. 移动通信技术,（1）无线局域网 WLAN：全称Wireless Local Area Network（无线局域网络）。目前，主流数据传输可达54Mbps。 AP：全称Access Point（无线接入点）。 Wi-Fi：Wi-Fi全称Wireless Fidelity。Wi-Fi认证是WLAN领域中对符合Wi-Fi标准的产品的一种认证。 WEP：全称Wired Equivalent Protocol（有线等效协议）。,（2）蜂窝通信技术 蜂窝通信是采用蜂窝无线组网方式，在终端和网络设备之间通过无线通道连接起来，进而实现用户在活动中可相互通信，其网络结构如图所示。,各代移动通信技术对比表,5G应用分类,（3）其他无线通信技术,ZigBee是基于IEEE802.15.4标准的低功耗局域网协议。主要适合用于自动控制和远程控制领域，可以嵌入各种设备。 WiMAX（World Interoperability for Microwave Access）全称为全球微波互连接入，是基于IEEE802.16标准的无线城域网技术。 BLE（Bluetooth Low Energy）低功耗蓝牙技术是最新的专注于低功耗（纽扣电池可持续待机半年以上）、快速连接（仅需1-3ms）、长距离通信（长达50m以上）的新一代短距离无线通信规范。 NFC(Near Field Communication)近场通信又称近距离无线通