计算机网络通信技术第09章 大数据编.ppt

第第09章章 大数据大数据第第09章章 大大数据数据内容提要内容提要：pp大数据的大数据的特征特征pp大数据原理和大数据原理和构成构成pp大数据分析工具大数据分析工具hadoophadooppp大数据在各方面的应用大数据在各方面的应用9.1 大数据时代的大数据时代的背景背景9.1.19.1.1“ “大数据大数据大数据大数据” ”的诞生的诞生的诞生的诞生n n2121世纪是数据信息大发展的时代，移动互联、社世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和交网络、电子商务等极大拓展了互联网的边界和应用范围，应用范围，各种数据正在迅速膨胀并急剧增多各种数据正在迅速膨胀并急剧增多n n互联网（社交、搜索、电商）、移动互联网（微互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、博）、物联网（传感器，智慧地球）、车联网、GPSGPS、医学影像、安全监控、、医学影像、安全监控、金融、金融、电信（通话、电信（通话、短信）短信）都在疯狂产生着数据都在疯狂产生着数据大大数据数据n n数据的通信、网络、传感、存储、搜索、分析和数据的通信、网络、传感、存储、搜索、分析和处理技术与工具发展促进了大数据（处理技术与工具发展促进了大数据（Big DataBig Data））时代到来时代到来。

n n“ “大数据大数据” ”正在对每个领域造成影响正在对每个领域造成影响大数据的思考大数据的思考大数据的思考大数据的思考9.1.2 数据大爆炸数据大爆炸地球上至今总共的数据量地球上至今总共的数据量地球上至今总共的数据量地球上至今总共的数据量：：：：n n20062006年，个人用户才刚刚迈进年，个人用户才刚刚迈进TBTB时代，全球一时代，全球一共新产生了约共新产生了约180EB180EB的数据的数据；；n n20112011年，这个数字达到了年，这个数字达到了1.8ZB1.8ZBn n而而有市场研究机构预测：到有市场研究机构预测：到2020 2020 年，整个世界年，整个世界的数据总量将会增长的数据总量将会增长44 44 倍，达到倍，达到35.2ZB35.2ZB（（1ZB=10 1ZB=10 亿亿TBTB））表表 9.1 是是数据数据计量单位计量单位B（Byte，字节）=8 bitsPB（Petabyte，拍字节）=1015 BKB（Kilobyte，千字节）=103 BEB（Exabyte，艾字节）=1018 BMB（Megabyte，兆字节）=106 BZB（zettabyte，泽字节）=1021 BGB（Gigabyte，吉字节）=109 BYB（jottabyte，佑字节）=1024 BTB（Terabyte，太字节）=1012 B数据科学技术进展数据科学技术进展n n数据科学技术进展经历以下阶段：数据科学技术进展经历以下阶段：pp手工作业时代pp单个计算机时代pp分布网络时代pp互联网时代pp大数据时代9.1.3 大大数据的数据的特征特征n n大大数据：数据：指指那些超过传统数据库系统处理能力那些超过传统数据库系统处理能力的数据的数据。

n n数据数据规模规模很大很大：对：对传输速度要求很高、结构复传输速度要求很高、结构复杂、不适于原本的数据库系统杂、不适于原本的数据库系统大大大大 数据数据数据数据特征特征特征特征9.1.3 大数据的特征大数据的特征n n大大数据（数据（Big Data）：）：指“无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合”n n通常通常用用4个个V（（即Volume、Variety、Value、Velocity）来概括大数据的特征大数据的大数据的特点特点n n大数据的特点包括（大数据的特点包括（4V4V）：）：n n海量、高速、多样、精确海量、高速、多样、精确大数据的大数据的4 4个个“ “V V” ”，或者说特点有四个层面，或者说特点有四个层面：：n n第一，数据体量巨大第一，数据体量巨大n n第二，数据类型繁多第二，数据类型繁多n n第三，处理速度快第三，处理速度快n n第四，合理利用数据会带来很高的回报第四，合理利用数据会带来很高的回报大数据的大数据的特点特点n n业界将其归纳为业界将其归纳为4个个“V”ppVolume（数据体量大）ppVariety（数据类型繁多）ppVelocity（处理速度快）ppValue（价值密度低）。

9.2 大大数据原理和数据原理和构成构成（1）大数据的核心工作思路（2）传统数据系统工作原理（（3）大数据平台架构（4）大数据 VS 云计算 （5）大数据 VS 物联网（6）精准营销是大数据的应用之一（7）理解和管理大数据（（1）大数据的核心工作）大数据的核心工作思路思路n n大数据系统颠覆了传统数据中心的工作逻辑pp传统数据系统工作逻辑：运算系统调动数据库的数据，产生数据的移动pp大数据系统工作逻辑：运算系统直接部署至数据处，数据仅在架构内移动（（2）传统数据系统工作）传统数据系统工作原理原理n n传统的数据库系统是关系型数据库，开发这种数据库的目的，是处理永久、稳定的数据传统数据系统工作原理传统数据系统工作原理（（3）） 大数据平台大数据平台架构架构n n大数据：指的是需要新处理模式具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产n n海量数据期望与其相关的平台架构，能为大数据提供分析、挖掘、处理能力大数据平台架构大数据平台架构n nIBMIBM提出了提出了“ “大数据平台大数据平台” ”架构该平台的四大核心平台的四大核心能力包括能力包括HadoopHadoop系统、流计算、数据仓库和信息整系统、流计算、数据仓库和信息整合与治理。

合与治理（（4）大数据）大数据 VS 云计算云计算 n n云计算是将计算和存储，由本地转移到了云端；大数据云计算是将计算和存储，由本地转移到了云端；大数据提供了一套新的计算和存储工作原理提供了一套新的计算和存储工作原理pp二者有着本质的不同，但却是一个完整的体系二者有着本质的不同，但却是一个完整的体系pp大数据是云计算的心脏，云计算是大数据服务的通路大数据是云计算的心脏，云计算是大数据服务的通路大数据是落地的云大数据是落地的云大数据是落地的云大数据是落地的云（（5）大数据）大数据 VS 物联网物联网 n n物联网是大数据流程中的第一层：采集层，物联网网关以上就进入了大数据工作范畴n n大数据、物联网不应仅从技术层面去理解n n互联网的核心是一种基于新的技术和商业模式的生态系统的建立，是技术、人和系统的有机体（（6）） 精准营销是大数据的应用精准营销是大数据的应用之一之一n n对用户对用户行为分析实现精准营销是大数据的典型应用行为分析实现精准营销是大数据的典型应用，，大大数据在数据在各行各业，特别是各行各业，特别是公共服务领域具有广阔的公共服务领域具有广阔的应用前景应用前景n n设计并设计并实现企业实现企业进行低成本精准营销的进行低成本精准营销的平台，非常平台，非常有有意义。

意义大数据应用前景如大数据应用前景如图所图所示大数据应用前景大数据应用前景大数据应用前景大数据应用前景（（7）理解和管理大）理解和管理大数据数据n n非结构化海量信息的智能化非结构化海量信息的智能化处理n n自然语言理解自然语言理解、多媒体内容理解、机器学习等、多媒体内容理解、机器学习等大数据管理模式大数据管理模式9.4 大大数据在企业管理数据在企业管理和和营销营销中的中的渗透渗透（（1）行业拓展者，打造大数据行业基石（2）渗透众多行业（3）能加强企业与客户相互沟通大数据价值潜力大数据价值潜力指数指数（（1）） 具体案例如具体案例如图图（（2）难点）难点分析分析（（（（存储和检索是大数据关联图）存储和检索是大数据关联图）存储和检索是大数据关联图）存储和检索是大数据关联图）（（3）移动用户上网记录集中查询与）移动用户上网记录集中查询与分析支撑分析支撑系统系统 9.5 大数据分析工具大数据分析工具hadoopn nHadoopHadoop在在可伸缩性、健壮性、计算性能和可伸缩性、健壮性、计算性能和成本成本上具有无可替代的优势，事实上已成为上具有无可替代的优势，事实上已成为当前互联网企业主流的大数据分析平台当前互联网企业主流的大数据分析平台。

1 1）什么是）什么是）什么是）什么是hadoophadoop（（（（2 2）为什么）为什么）为什么）为什么hadoophadoop很重要很重要很重要很重要（（3 3））））hadoophadoop与大数据与大数据与大数据与大数据hadoop与大数据与大数据n nHadoopHadoop是是是是处理处理处理处理“ “大数据大数据大数据大数据” ”处理的最重要平台之一处理的最重要平台之一处理的最重要平台之一处理的最重要平台之一pp数据存储数据存储数据存储数据存储：：：：能够扩展到能够扩展到PBPB级别级别pp处理规模处理规模处理规模处理规模：：：：带有高度容错能力的并行处理架构带有高度容错能力的并行处理架构pp硬件成本低廉硬件成本低廉硬件成本低廉硬件成本低廉：：：：用内置格式存储用内置格式存储/ /处理数据处理数据pp代码来源代码来源代码来源代码来源丰富：丰富：丰富：丰富：传统厂商对其的支持，它已经成为传统厂商对其的支持，它已经成为重要的并行处理架构标准之一重要的并行处理架构标准之一Hadoop应用界面应用界面 9.6 大大数据在各方面的应用数据在各方面的应用1. 大数据在政府的大数据在政府的应用应用2. 大数据在智慧城市应用大数据在智慧城市应用1. 大数据在政府的大数据在政府的应用应用n n盘活盘活盘活盘活各地云计算中心各地云计算中心各地云计算中心各地云计算中心资产资产资产资产：：：：把把原来大规模投原来大规模投资产业园、物联网产业园从政绩工程，改造资产业园、物联网产业园从政绩工程，改造成智慧工程。

成智慧工程n n在安防在安防在安防在安防领域领域领域领域：：：：提高提高应急处置能力和安全防范应急处置能力和安全防范能力能力n n在在在在民生民生民生民生领域领域领域领域：：：：提升提升服务能力和运作效率，以服务能力和运作效率，以及个性化的服务及个性化的服务，如，如医疗、卫生、教育等部医疗、卫生、教育等部门 2. 大数据在智慧城市大数据在智慧城市应用应用n n智慧城市是使用智能计算技术：n n城市关键基础设施的组成和服务，变得更智能、互联和有效；n n智慧城市的建设，社会将步入“大数据”时代 9.7 大大数据的数据的演变演变（（1）） 从大型机到从大型机到PC和移动智能终端和移动智能终端（（2）） 计算机技术体系的演进计算机技术体系的演进（（3）软件技术的网络化趋势）软件技术的网络化趋势（（4）） 电视的网络化和智能化及三网融合电视的网络化和智能化及三网融合（（5）） 视频流量成为主流视频流量成为主流（（6）） 全球互联网上的一分钟传输的信息量全球互联网上的一分钟传输的信息量本章小结本章小结n n大数据大数据(bigdata)，或称巨量资料，或称巨量资料pp指的是涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

n n大数据的大数据的4V特点：特点：ppVolume、Velocity、Variety、Veracity本章小结本章小结n nHadoop是致力于“大数据”处理的最重要平台之一，能够轻松扩展到PB级别的数据存储n n大数据核心的大数据核心的价值价值n n是对海量数据进行存储和分析相比现有技术，大数据的“廉价、迅速、优化”这三方面的综合成本是最优的本章习题本章习题1.1.大数据的大数据的4V4V特点是什么？它们的含意又分别是什么？特点是什么？它们的含意又分别是什么？2.2.大数据系统工作逻辑与传统数据系统工作逻辑有什么大数据系统工作逻辑与传统数据系统工作逻辑有什么区别？区别？3.3.IBMIBM提出的大数据平台构架的核心是什么？提出的大数据平台构架的核心是什么？4.4.简述大数据与云计算的关系？简述大数据与云计算的关系？5.5.简述大数据与物联网的关系？简述大数据与物联网的关系？6.6.大数据有哪些相关技术？并作简要说明大数据有哪些相关技术？并作简要说明7.7.什么是什么是hadoophadoop？并简述？并简述hadoophadoop与大数据的关系与大数据的关系8.8.请结合你身边的实例，对大数据的应用作简要说明。

请结合你身边的实例，对大数据的应用作简要说明。