大数据与云计算

1、1大数据与云计算大数据与云计算刘亚文（西北农林科技大学 信息工程学院 软件工程 141）摘摘 要要： 云计算是当今计算机领域最热门的话题,大数据时代的发展趋势和用户需求迫 使研宄者们前赴后继地投身这一领域.这是充满挑战的时代,也是充满机遇的时代,突破了网 络发展的这一质变过程,计算机学界势必迎来一个更加辉煌的时代.对于广大用户而言,云计 算带来的服务将会大大提高工作效率和质量,提高生活品质,为人们幸福生活做出贡献.关键词关键词 ：云计算； 大数据； 数据分析；一、 引引 言言以 2011 年 5 月麦肯锡发布大数据的下一 个前沿：创新、竞争和生产力为起点， 大 数据概念开始持续发酵。2012 年，大数 据从技术圈进入主流市场1 ，得到许多国 家、社会组织和企业的看好和广泛应用。 2012 年 1 月，达沃斯世界经济论坛发布了 一份题为大数据，大影响（Big Data， Big Impact）的报告，3 月，美国政府发布 大数据开发倡议，之后英国、日本、 德国、加拿大等国纷纷效仿，推出与大数 据应用相关的战略研究，自此一场关于 “大数据”的战略争夺已经拉开战幕 那么，到底什么是大数据？它

2、与云计算是 什么关系？2、认识大数据认识大数据 1. 大数据的含义与特征大数据的含义与特征 地球上的煤炭、石油、天然气等自然 资源在消耗中不断减少，面临枯竭；而数 据随着应用的不断创新，在使用中生长和 丰富。大数据的出现，就是数据的快速增 长带来质的变化的结果。 对于大数据还 没有一个正式的定义，目前最为普遍的定义就是“用传统方法或工具不能 处理或分 析的数据”。大数据具有大量、速度快和 多样性三大特征2 ，这些特征是传统数 据处理方法和工具所无法胜任的。 大量 （Volume）是指数据量非常庞大，主要体 现在数据存储量大和计算量大。根据 IDC数字宇宙膨胀：到 2010 年全球信息 增长预测中统计的数据，2006 年全球每 年制造、复制出的数字信息量共计 16.1 万 PB，当年信息产生量大约是历史上图书信 息总量的 3000 倍；至 2010 年，数字信息 总量达 98.8 万 PB。专家指出，2020 年年 度数据将增加 43 倍。因此，大数据中的数 据不再以几个 GB 或几个 TB 为单位来衡量， 而是以 PB（1 千个 T）、EB（1 百万个 T） 或 ZB（10 亿个 T）

3、为计量单位。 速度 (Velocity)一方面是指数据在不断更新， 增长的速度快，另一方面是指数据存储、 传输等处理速度很快。短短 60 秒， YouTube 用户会上传 48 小时的视频； Google 会收到 200 万次搜索请求并极快地 返回结果； Twitter 要处理 100 万条 Tweets 信息；网购产生 27.2 万美元的交易； App Store 有 4.7 万次下载；全球新增网页 571 个。数据处理的速度也要求越来越快， 甚至是实时处理，比如灾难的预测，需很 快的对灾难发生的程度、影响的区域范围2等进行量化。如日本大地震发生后仅 9 分 钟，美国国家海洋和大气管理局（NOAA） 就发布了详细的海啸预警。 多样性 (Variety)指数据包含结构化的数据表和半 结构化、非结构化的文本、视频、图像等 信息，而且数据之间的交互非常频繁和广 泛。2.大数据的作用与意义大数据的作用与意义 商业智能的深入发展使得商业决策已 经越来越依赖于数据。然而，传统的商业 智能系统中用以分析的数据，大都是企业 内部的运营数据，它们只占到了企业所能 获取的全部数据的 15%。大数据使得企

4、业能 够分析更多的数据，从而使得分析结果更 真实，能够获取新的洞察力，因此大数据 能带来更大的价值。 对于国家和政府，大数据能够强化国 家安全，推动政府开放，提高公共决策的 预见性和响应性3 。各国军队都重视掌 握技术优势，最大限度提升自己的存储、 挖掘和使用“海量数据”的能力，通过海 量数据挖掘高价值情报，提高快速反应能 力。 对于企业，大数据将开启商业智能的 新阶段。纽约时报撰文称，“大数据” 正在对各个领域都造成影响，在贸易、经 济和其他领域中，越来越多的决策基于数 据解析做出，而不是像昔日更多凭借经验 和直觉。IBM 和麦肯锡的研究都表明，应用 大数据的企业确实呈现出明显竞争优势， 如收入增长更快。大数据对企业竞争力的 影响主要表现在客户洞察、营销规划、产 品创新、物流管理、流程优化、人力资源 管理、风险控制等七个方面。 对于个人，大数据将对人们的衣、食、 住、行、健康、娱乐等都将产生深刻的影 响。比如借助戴在手臂上或装在口袋里的 各种传感器，你的血压、心跳、情绪等多 种体征信息被实时传送到远程健康平台， 系统会根据你当天的运动量、饮食、心情、 工作等情况给你最佳的锻炼和调节建

5、议。 总之，大数据的战略意义和对社会的重大影响已毋庸置疑，它有望开启继互联网、 物联网之后有一个新的时代大数据时 代即将到来。三、云计算简介三、云计算简介 正如维克托教授所说，大数据的真实 价值就像漂浮在海洋中的冰山，第一眼只 能看到冰山的一角，绝大部分都隐藏在表 面之下。而发掘数据价值、征服数据海洋 的“动力”就是云计算。 1.1 云计算的概念云计算的概念 由于云计算是由不同的企业和研究机 构同步推进的技术，所以关于云计算的定 义有很多，至今并没有一个公认的定义和 标准。 结合国际 20 位专家的定义，Ian Foster 定义云计算为一个由规模经济驱动 的大型分布式计算模型，在该模型中，抽 象的、虚拟化的、动态可伸缩的并可管理 的计算资源、存储资源、平台和服务构成 了一个资源池。资源池中的资源通过互联 网，按需提供给池外的用户。 归纳的云计算定义为：云是由易于使 用的虚拟资源构成的一个巨大资源池，包 括硬件资源、部署平台以及相应的服务。 根据不同的负载，这些资源可以动态地重 新配置，以达到一个最理想的资源使用状 态。资源池中的资源是按需付费的，服务 提供商通过服务等级协议（Serv

6、ice Level Agreement，SLA）保证用户的服务质量。 综合其他资料，可以将云计算归纳为：云 计算以虚拟化技术为核心，虚拟化技术将 共享的硬件和软件资源抽象化成一个统一 的资源池，通过互联网这个载体，向用户 按需地提供所需的资源。其特点在于多用 户共享、大数据处理与大数据存储。云计算严格地来说并不是一种真正 新的技术，而是并行计算（Parallel Computing，PC）等计算模式的进一步演进。 由于云计算的主要标准和方案是由企业推 进的，也可以说云计算是分布式计算模型 的商业实现。31.2 云计算的特点和优势云计算的特点和优势 云计算作为分布式计算的优势： (1). 分布式系统的最大优势就是因为 其具有比集中式系统更好的性能价格比， 用户花少 量的钱就能获得高效能计算。由 于“云”的特殊容错措施可以采用极其廉 价的节点来构成云，“云”的自动化集中 式管理使大量企业无需负担日益高昂的数 据中心管理成本，“云”的通用性使资源 的利用率较之传统系统大幅提升，因此用 户可以充分享受“云”的低成本优势。 (2). 多数应用本身就是分布式的。如工业 企业应用，管理部门和现场不在

7、同一个地 方的 应用。 (3). 虚拟化。云计算支持用户在任意位 置、使用各种终端获取应用服务。所请求 的资源 来自“云”，而不是固定的有形的 实体。应用在“云”中某处运行，但实际 上用户无需了解、也不用担心应用运行的 具体位置。只需要一台笔记本或者一个手 机，就可以通过网络服务来实现我们需要 的一切，甚至包括超级计算这样的任务。 (4). 高可靠性。冗余不仅是生物进化的必 要条件，而且也是信息技术。现代分布式 系统 具有高度容错机制，控制核反应堆主 要采用分布式来实现高可靠性。 (5). 通用性。云计算不针对特定的应用， 在“云”的支撑下可以构造出千变万化的 应用， 同一个“云”可以同时支撑不同的 应用运行。 (6). 可扩展性。添置一台性能更高的大型 机，或者添置一台性能相同的大型机的费 用都 比添加几台 PC 的费用高得多。 (7). 高度灵活性。能够兼容不同硬件厂商 的产品，兼容低配置机器和外设而获得高 性能 计算。 云计算在存储领域的发展趋势和优势： (1). 用户不必为文件存储硬件投入任何前 期的费用。 (2). 主机服务提供商会维护用户文件服务 器的安全和更新问题。 (3

8、). 方便的控制访问权限和文件资源管理。4、 大数据与云计算的关系大数据与云计算的关系近几年来，云计算受到学术界和工业界 的热捧，随后，大数据横空出世，更是炙 手可热，经常有人把大数据和云计算相提 并论。那么，大数据和云计算之间是什么 关系呢？大数据与云计算确实有一些相同之处。 它们都是为数据存储和处理服务的，都需 要占用大量的存储和计算资源，而且大数 据用到的海量数据存储技术、海量数据管 理技术、MapReduce 等并行处理技术也都是 云计算的关键技术。 但是，大数据 与云计算也有很多方面的差异。云计算的 目的是通过互联网更好地调用、扩展和管 理计算及存储资源和能力，以节省企业的 IT 部署成本，其处理对象是 IT 资源、处理 能力和各种应用。云计算从根本上改变了 企业的 IT 架构，产业发展的主要推动力量 是存储及计算设备的生产厂商和拥有计算 及存储资源的企业。而大数据的目的是充 分挖掘海量数据中的信息，发现数据中的 价值，其处理对象是各种数据。大数据使 得企业从“业务驱动”转变为“数据驱动” ，从而改变了企业的业务架构，其直接受 益者不是 IT 部门，而是业务部门或企业 CEO

9、，产业发展的主要推动力量是从事数据 存储与处理的软件厂商和拥有大量数据的 企业。 因此，不难发现云计算和大 数据实际上是工具与用途的关系，即云计 算为大数据提供了有力的工具和途径，大 数据为云计算提供了很有价值的用武之地。 而且，从所使用的技术来 看，大数据可以 理解为云计算的延伸4 。 大数据 若与云计算相结合，将相得益彰，互相都 能发挥最大的优势。云计算能为大数据提 供强大的存储和计算能力，更加迅速地处 理大数据的丰富信息，并更方便地提供服 务；而来自大数据的业务需求，能为云计 算的落地找到更多更好的实际应用。当然 大数据的出现也使得云计算会面临新的考 验。45、 结束语结束语大数据技术的运用前景是十分光明的。当 前，我国正处在全面建成小康社会征程中， 工业化、信息化、城镇化、农业现代化任 务很重，建设下一代信息基础设施，发展 现代信息技术产业体系，健全信息安全保 障体系，推进信息网络技术广泛运用，是 实现四化同步发展的保证。大数据是新一 代信息技术的集中反映，是一个应用驱动 性很强的服务领域，是具有无穷潜力的新 兴产业领域；目前，其标准和产业格局尚 未形成，这是我国实现跨越式发展的宝贵 机会。我们要从战略上重视大数据的开发 利用，将它作为转变经济增长方式的有效 抓手，但要注意科学规划，切忌一哄而上。 大数据时代呼唤创新型人才。中国是人才 大国，但能理解与应用大数据的创新人才 更是稀缺资源。如果说曾经有过互联网的 快速发展基于信息服务业的话，未来围绕 大数据或者现在的名字还叫云计算，那么 新的虚拟计算模式是重要的，基本标志就 是数据服务成为越多产业技术和研究重要 的内容。计算模式的变迁可能造成时代变 化。现在探讨中国互联网新的价值和它的 科学价值或者产业价值的时候，会有很多 机遇，努力探索这方面的工作。参考文献：参考文献： 1孟小峰,慈祥.大数据管理：概念、技术 与挑战J.计算机研究与发展，2013，(1)：146-169 2 邬贺铨，求是，大数据时代机遇与挑 战J，2013 3马敏行，大数据时代来袭M， 2013（11） 4孟剑，耿耿，大数据时代，机遇？挑战？

《大数据与云计算》由会员kms****20分享，可在线阅读，更多相关《大数据与云计算》请在金锄头文库上搜索。