2014年云计算和大数据讲座ppt(详细)
云计算和大数据,讲座纲要,重点关注的云计算系统平台,2,国内行业云计算推广与应用,3,云计算技术与大数据时代,4,一、数据中心与云计算架构基础,我们已经进入一个无处不网、无时不网的时代！,一、数据中心与云计算架构基础,云计算是能够提供动态资源池、虚拟化和高可用性的下一代计算平台，借用了量子物理中的“电子云”（Electron Cloud），强调说明信息处理的弥漫性、无所不在的分布性和社会性特征。 云计算技术可将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务，一般具备以下3个典型特征： （1）硬件基础设施架构在大规模的廉价服务器集群之上； （2）应用程序与底层服务协作开发，最大限度地利用资源； （3）通过多个廉价服务器之间的冗余，使用软件获得高可用性。,一、数据中心与云计算架构基础,存储服务 计算服务 软件服务 信息处理 信息资源利用,一、数据中心与云计算架构基础,一、数据中心与云计算架构基础,维基百科给出的定义是“数据中心是一整套复杂的设施。它不仅仅包括计算机系统和其它与之配套的设备(例如通信和存储系统),还包含冗余的数据通信连接、环境控制设备、监控设备以及各种安全装置”。 谷歌的The Datacenter as a Computer一书中,将数据中心解释为“多功能的建筑物,能容纳多个服务器 以及通信设备。这些设备被放置在一起是因为它们具有相同的对环境的要求以及物理安全上的需求,并且这样放置便于维护”,而“并不仅仅是一些服务器的集合”,一、数据中心与云计算架构基础,数据中心外部,Google的节能措施,微软的节能措施,一、数据中心与云计算架构基础,数据中心内部,Google在芬兰Hamina数据中心,Google爱荷华州的Concil Bluffs数据中心,微软的节能措施,一、数据中心与云计算架构基础,规模经济性,更低的硬件成本 更低廉的电价 更低的管理费用,更高的利用率 从10-15% 到 80%,一、数据中心与云计算架构基础,一、数据中心与云计算架构基础,Wikipedia，维基百科的虚拟化定义 虚拟化是表示计算机资源的抽象方法，通过虚拟化可以用与访问抽象前资源一致的方法访问抽象后的资源。这种资源的抽象方法并不受实现、地理位置或底层资源的物理配置的限制。 IBM的虚拟化定义 虚拟化是资源的逻辑表示，它不受物理限制的约束。 虚拟化的三层含义 虚拟化的对象是各种各样的资源； 经过虚拟化后的逻辑资源对用户隐藏了不必要的细节； 用户可以在虚拟环境中实现其在真实环境中的功能。,虚拟化技术,一、数据中心与云计算架构基础,虚拟化技术,虚拟化包括： 网络虚拟化 存储虚拟化 桌面虚拟化 服务器虚拟化 应用虚拟化 其它,一、数据中心与云计算架构基础,系统虚拟化,系统虚拟化：使用虚拟化软件在一台物理机上虚拟出一台或多台虚拟机（Virtual Machine, VM）。 虚拟运行环境需要为在其上运行的虚拟机提供一套虚拟的硬件环境，包括虚拟的服务器、内存、设备与I/O及网络接口等。,一、数据中心与云计算架构基础,系统虚拟化,Vmware Workstation,一、数据中心与云计算架构基础,服务器虚拟化,服务器虚拟化：将系统虚拟化应用于服务器上，将服务器进行整合，根据需求虚拟出若干个服务器。,一、数据中心与云计算架构基础,桌面虚拟化,桌面虚拟化：将用户的桌面环境与使用的终端设备解耦合。 优势：通过实施桌面虚拟化，可将原有的终端数据资源甚至操作系统都转移到后台数据中心的服务器，而前台终端可以转化为以显示为主、计算为辅的轻量级客户端。,一、数据中心与云计算架构基础,桌面虚拟化,一、数据中心与云计算架构基础,一、数据中心与云计算架构基础,讲座纲要,二、重点关注的云计算系统平台,90%计算任务都能够通过“云计算”技术完成 桌面软件正在向Web软件转型 云计算是开放标准 ，业界不会有公司垄断 中小企业、大学、消费者会相对迅速地转 向基于Web的“云计算”技术 新的赢利模式 低廉的云计算给Google带来更多的流量，进而 带来更多的广告收入 承认“云计算”不会在一夜之间普及 大公司通常会慢慢地改变自己的习惯 其它问题，例如“飞机问题”，以及在不能上网时用户如何工作。,Google观点,Google CEO 埃立克.施米特,二、重点关注的云计算系统平台,在计算机上安装的传统软件是微软的根本 比尔·盖茨(Bill Gates)接受媒体采访时曾提出：“我们致力于推动PC成为一切的中心” 微软将自身的战略称为“软件加服务” 微软将Google的乐观称作是一厢情愿。 利用Web软件收发电子邮件、处理文档和电子表格、进行协作很方便吗？ 高速宽带连接会象Google断言的那样普及和可靠吗？ 企业、大学、消费者会让Google保存他们的资料吗？,Microsoft观点,Microsoft CEO 史蒂夫.鲍尔默,孰优孰劣，等待市场检验！,二、重点关注的云计算系统平台,“浏览器操作系统”,二、重点关注的云计算系统平台,应用分类,二、重点关注的云计算系统平台,应用分类,Google在线文档,二、重点关注的云计算系统平台,应用分类,Google地图,二、重点关注的云计算系统平台,应用分类,Google邮件,42,二、重点关注的云计算系统平台,应用分类,Google日历,二、重点关注的云计算系统平台,应用分类,Google Wave, Google + 信息分享、协作、发布平台,应用分类,隶属于PaaS的Google云计算 属于部署在云端的应用执行环境 支持Python和Java两种语言 通过SDK提供Google的各种服务，如图形、MAIL和数据存储等 可使用Google的基础服务，如BigTable和GFS等 用户仅需提供应用代码，无需服务器维护 应用程序可根据访问量和数据存储需要的增长轻松进行扩展 用户可快速、廉价地部署自己开发的应用（如创新的网站、游戏等）,二、重点关注的云计算系统平台,二、重点关注的云计算系统平台,需求分析,Google拥有海量数据，需要存储管理和快速处理,对爬虫获取的网页进行倒排索引 计算网站的PageRank 分析搜索趋势(Google Trends) 计算网页的访问量 ,二、重点关注的云计算系统平台,关键技术,Google云计算平台关键技术 文件存储，Google Distributed File System，GFS 并行数据处理MapReduce 分布式锁Chubby 结构化数据表BigTable,Simple, and good enough!,二、重点关注的云计算系统平台,一个简单的想法 IaaS：将硬件设备等基础资源封装成服务供用户使用 主要思想：虚拟 优势：动态申请，资源无限,起源,二、重点关注的云计算系统平台,简单存储服务(simple storage service,简称S3) 简单队列服务(simple queue service,简称SQS) 弹性计算云EC2 系统,关键功能,二、重点关注的云计算系统平台,应用示范,AWS的应用案例SmugMug,为什么选择AWS SmugMug是一家在线照片存储共享网站，拥有数亿照片资源和几十万付费用户。 业务量的急剧增长导致该新兴公司无法承受巨额的基础设施开销，SmugMug选择了Amazon的EC2服务和S3服务。应用AWS后，仅需50人即可完成如此大的业务量。,二、重点关注的云计算系统平台,应用示范,AWS的应用案例纽约时报,使用亚马逊云计算服务在不到24个小时的时间里处理了1100万篇文章 累计花费240美元 如果用自己的服务器，需要数月和多得多的费用,二、重点关注的云计算系统平台,应用示范,AWS的应用案例纽约时报,二、重点关注的云计算系统平台,资费情况,Amazon Simple Storage Service,$.15 per GB per month storage,Object-Based Storage 1 B 5 GB / object Fast, Reliable, Scalable Redundant, Dispersed 99.99% Availability Goal Private or Public Per-object URLs & ACLs BitTorrent Support,$.10 - $.18 per GB data transfer,$.01 for 1000 to 10000 requests,二、重点关注的云计算系统平台,资费情况,Amazon Elastic Compute Cloud,Virtual Compute Cloud Elastic Capacity 1.7 GHz x86 1.7 GB RAM 160 GB Disk 250 MB/Second Network Network Security Model Time or Traffic-based Scaling, Load testing, Simulation and Analysis, Rendering, Software as a Service Platform, Hosting,$.10 - $.18 per GB data transfer,$.10 per server hour,二、重点关注的云计算系统平台,Oracle Real Application Cluster,二、重点关注的云计算系统平台,微软云计算,二、重点关注的云计算系统平台,IBM 云计算,二、重点关注的云计算系统平台,HP 云计算,二、重点关注的云计算系统平台,Vmware vCenter,动态迁移：VMware （storage） vMotion 容错： VMware Fault Tolerance 高可用性：VMware High Availability 备份： VMCB（VMware Consolidated Backup） 安全： vSafe，vShield 资源优化：DRS（Distributed Resource Scheduler）,二、重点关注的云计算系统平台,EMC Atmos,二、重点关注的云计算系统平台,Cisco 统一计算系统,二、重点关注的云计算系统平台,Hadoop：Google云计算的开源实现 OpenStack：云平台管理的项目，美国国家航空航天局和Rackspace合作研发的 Eucalyptus：Amazon云计算的开源实现 Cassandra：结合了Dynamo的分布技术和Google的BigTable数据模型，高度可扩展、最终一致、分布式的结构化键值存储系统。 Hive：基于Hadoop的数据仓库工具 Enomaly ECP：提供类似于 EC2的云计算框架,二、重点关注的云计算系统平台,Nimbus：基于网格中间件Globus，提供与EC2类似的功能和接口 Sector and Sphere：类似MapReduce Abiquo：以快速、简单和可扩展的方式创建和管理大型、复杂的IT基础设施（包括虚拟服务器、网络、应用和存储设备等） MongoDB：构建基于分布式文件存储系统的数据库,讲座纲要,三、国内行业云计算推广与应用,国务院,国务院关于加快培育和发展战略性新兴产业的决定（国发201032号） http:/www.gov.cn/zwgk/2010-10/18/content_1724848.htm,一（三）：我国要在未来国际竞争中占据有利地位，必须加快培育和发展战略性新兴产业，掌握关键核心技术及相关知识产权，增强自主发展能力。 二（三）：节能环保、新一代信息技术、生物、高端装备制造产业成为国民经济的支柱产业创新能力大幅提升，掌握一批关键核心技术，在局部领域达到世界领先水平 三（二）：新一代信息技术产业。加快推进三网融合，促进物联网、云计算的研发和示范应用,三、国内行业云计算推广与应用,发改委
