阿里研究中心：大数据时代

ge 已内容什么是大数据相关技术大数据的来“缘”和影响大数据的来“缘”和影响发展动态及方向3/13/2012 2什么是大数据3/13/2012 33/13/2012 43/13/2012 5何为大 ？数据度量1 8 = 1,024 = 1,024 1,048,576 = 1,024 1,048,576 1,073,741,824 = 1,024 1,048,576 1,099,511,627,776 = 1,024 1,048,576 1,125,899,906,842,624 = 1,024 1,048,576 1,152,921,504,606,846,976 = 1,024 1,180,591,620,717,411,303,424 = 1,024 1,208,925,819,614,629,174,706,176 3/2012 6红楼梦 含标点 87万字（不含标点 853509字）每个汉字占两个字节 ：1汉字 =16 2*8位=2等于 671部红楼梦1等于 631,903 部1等于 647,068,911部美国 国会图书馆藏书 （ 151,785,778册 ）（ 2011年 4月 ： 收录数据 235美国 国会图书馆藏书 （ 册 ）（ 年 月 ： 收录数据 ）中国国家图书馆 ：2631万册 4000倍倍倍倍美国国会图书馆存储的 美国国会图书馆存储的美国国会图书馆存储的美国国会图书馆存储的 信息量信息量信息量信息量全球企业全球企业全球企业全球企业 2010 年在硬盘上存储了超过年在硬盘上存储了超过年在硬盘上存储了超过年在硬盘上存储了超过 7于等于等于等于 10 亿亿亿亿B)的新数据的新数据的新数据的新数据 ,同时同时同时同时 ,消费者在消费者在消费者在消费者在 笔记本等设备上存储了超过和笔记本等设备上存储了超过和笔记本等设备上存储了超过和笔记本等设备上存储了超过 6数据新数据新数据新数据3/13/2012 7大数据 大数据 4量（ 存储大 ； 计算量大 ；o 多样（ 来源多 ；来源多 ； 格式多 ；o 快速（ 增长速度快 处理速度要求快o 价值（ 浪里淘沙却又弥足珍贵数据没有办法在可容忍的时间下使用常规软件方法完成存储 、管理和处理任务3/13/2012 8大数据 大数据与云计算o 云计算的模式是业务模式 ，本质是数据处理技术 。（ 肉体 +灵魂 ）o 数据是资产 ，云为数据资产提供存储 、访问和计算 。o 盘活资产 ， 使其为国家治理 、 企业决策 、 个人生活服务 ， 是大数据核心议盘活资产 ， 使其为国家治理 、 企业决策 、 个人生活服务 ， 是大数据核心议题，也是云计算的最终方向 海量数据 ：两个 V（ 互联网企业 ：博 、视频网站 、电子商务网站 物联网 、移动设备 、终端中的商品 、个人位置 、传感器采集的数据 联通 、移动 、电信等通信和互联网运营商 天文望远镜拍摄的图像 、视频数据 、气象学里面的卫星云图数据等3/13/2012 10大数据相关技术3/13/2012 11大数据相关技术 分析技术o 数据处理 ：自然语言处理技术o 统计和分析 ：A/B 排行榜 ；地域占比 ；文本情感分析o 数据挖掘 ：关联规则分析 ；分类 ；聚类o 模型预测 ：预测模型 ；机器学习 ；建模仿真 大数据技术o 数据采集 ：据存取 ：关系数据库 ；础架构支持 ：云存储 ；分布式文件系统等o 计算结果展现 ：云计算 ；标签云 ；关系图等3/13/2012 12大数据相关技术 存储o 结构化数据 ： 海量数据的查询 、统计 、更新等操作效率低o 非结构化数据 图片 、 视频 、 视频 、 、 、 等文件存储 不利于检索 、查询和存储o 半结构化数据 转换为结构化存储 按照非结构化存储 存储问题解决方案o 在退化 ” 3/2012 13大数据相关技术 计算o 因结构变化为导致计算模式变更o 需求模式变化带来的计算碰到瓶颈 解决方案o o 流计算 （“缘”和影响3/13/2012 15从互联网社会化拉开序幕 博等社交网站出现o 海量的视频 、图片 、文本 、短消息以及社会间关系信息数据需求出现3/13/2012 16跟随互联网的演进 互联网 需要更好的理解 “消费者 ”的需求 消费者 也反作用于 互联网3/13/2012 17通过免费软件及服务来更精确的理解用户行为和习惯 通过 对用户的更精确理解来提供精确广告服务3/13/2012 18传统企业之殇 服装企业调查顾客对商品的购买意愿 任正非 让听得见炮火的人来决策 张瑞敏 ：“一个型号几百万产量 ”到“几十万个型号 ”3/13/2012 19对软件开发和信息化 传统软件开发流程 快速演进 ） 互联网企业面向海量用户群建立自己的生态圈 ，吸引用户 企业信息化不只是订单系统上线 ，订单处理也需自动化跟上 通过分析师对一系列的数据 、行为的分析后才能得到用户需求 等等3/13/2012 20 来“缘”o 互联网大发展 ，特别是社交化网络的出现o 信息化工作效果的积累o 信息社会的基础设施建设积累来“缘”及发展影响信息社会的基础设施建设积累 影响o 传统企业与互联网进行融合o 对大数据进行精准化 分析和挖掘 ，大势所趋3/13/2012 21 麦肯锡评估报告中指出大数据在政府公共服务 、医疗服务 、零售业 、制造业 、以及涉及个人位置服务等领域都将带来可观的价值大数据带来的影响40% 3/2012 22来源于麦肯锡全球研究院来源于麦肯锡全球研究院3/13/2012 23 政府等公共职能管理o 重视应用大数据技术 ，盘活各地云计算中心资产 ：把原来大规模投资产业园、物联网产业园从政绩工程 ，改造成智慧工程o 在安防领域 ， 应用大数据技术 ， 提高应急处置能力和安全防范能力大数据带来的影响在安防领域 ， 应用大数据技术 ， 提高应急处置能力和安全防范能力o 在民生领域 ，应用大数据技术 ，提升服务能力和运作效率 ，以及个性化的服务 ，比如医疗 、卫生 、教育等部门o 解决在金融 ，电信领域等中数据分析的问题 ：一直得到得极大的重视 ，但受困于存储能力和计算能力的限制 ，只局限在交易数型数据的统计分析o 政府投入将形成示范效应 ，大大推动大数据的发展3/13/2012 24 大数据赋予我们洞察未来的能力o 马云成功预测 2008 年经济危机o “2008 年初 ,阿里巴巴平台上整个买家询盘数急剧下滑 ,欧美对中国 采购在下滑。海关是卖了货 ,出去以后再获得数据 ;而我们提前半年时间 从询盘上推断大数据带来的机遇出世界贸易发生变化了 。”o 通常而言 , 买家在采购商品前 ,会比较多家供应商的产品 ,反映到阿里巴巴网站统计数据中 ,就是查询点击的数量和购买点击的数量会保持一个相对的数值 ,综合各个维度的数据可建立用户行为模型 。因为数据样本巨大 ,保证用户行为模型的准确性 。因此在这个案例中 ,询盘数据的下降 ,自然导致买盘的下降 。3/13/2012 25大数据带来的影响 刀刃的另一面 更多的隐私 、安全性问题o 多少密码和账号是因为 “社交网络 ”流出去的 ？o 2011年4月索尼的系统漏洞导致 7700万用户资料失窃o 2011年 4月 ， ， 被发现会按照时间顺序记录用户的位置坐标信息o 2011年3/2012 26发展动态及方向3/13/2012 273/13/2012 28发展动态 2011年5月：肯锡全球研究院（布了一份报告大数据：创新、竞争和生 在2009年中，个网站向公众提供各种各样的政府数据 在2009年，欧洲一些领先的研究型图书馆和科技信息研究机构建立了伙伴关系致力于改善在互联网上获取科学数据的简易性产力的下一个新领域，大数据开始备受关注 2012年1月份：瑞士达沃斯召开的世界经济论坛上，大数据是主题之一，会上发布的报告大数据，大影响(称，数据已经成为一种新的经济资产类别，就像货币或黄金一样 在2011年12 月8 日工信部发布的物联网十二五规划上，把信息处理技术作为4 项关键技术创新工程之一被提出来，其中包括了海量数据存储、数据挖掘、图像视频智能分析，这都是大数据的重要组成部分3/13/2012 29发展动态 自2010 年以来各大 头在大数据领域的产品推出进度 ，包括 普 、微软 、T 巨头纷纷通过收购大数据相关厂商来实现技术整合 ，亦可见其对大数据的重视 。3/13/2012 30发展动态及方向3/13/2012 31大数据的方向发现和预测分析和挖掘掘是手段分析和挖掘大数据数据分析、挖掘是手段3/2012 32谢谢！谢谢！3/13/2012 33参考文献 1. 2. 3.