ucpfor大数据解决方案
<p>© Hitachi Data Systems Corporation 2014. All rights reserved.1© Hitachi Data Systems Corporation 2014. All rights reserved.1 HDS 统统一计计算平台的 大数据解决方案 HDS channel enablement Team Cicean Wang © Hitachi Data Systems Corporation 2014. All rights reserved.2 议程 什么是大 数据？ HDS 和大数据 大数据 应用案例 大数据成 功案例 © Hitachi Data Systems Corporation 2014. All rights reserved.3 3 什么是大数据？什么是大数据？ 它真正的含义是什么？ © Hitachi Data Systems Corporation 2014. All rights reserved.4 大数据及大数据时代 “数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人 们对于海量数据的挖掘和运用，预示着新一波生产力增长和消费者盈余浪潮的到 来” 麦肯锡 您将会面对的是 16.4 Exabytes In 2010 35 Zxabytes In 2020IDC® 做出估算 30 倍 这这这这不是不是简单简单简单简单 的数据增多的的数据增多的问题问题问题问题 而是而是全新的全新的问题问题问题问题 © Hitachi Data Systems Corporation 2014. All rights reserved.5 大数据的定义（4V） 海量（Volume）多样（Variety） 快速（Velocity）价值（Value） 3亿用户，每 天上亿条微博 中型城市每 月数十亿智 能电表数据 2015年全球移 动终端产生的 数据量6300PB 卫星图像 个人信息M2M 日志文件 传感图像 视频音频 非结构化数 据将占到 75%-85% 增长速度快 ?用户基数庞大 ?设备数量众多 ?实时海量数据 ?数据指数级别增长 单条数据并无太 多价值，但庞大 的数据量蕴含巨 大财富 © Hitachi Data Systems Corporation 2014. All rights reserved.6 存储理解控制 大数据最终的目的 大数据可以从根本上提高洞察力 获得洞察力 ！ 跨越 鸿沟 输入数据 $ 提高收益 $ 提高投资回报率扩大客户数量 大数据分析处处理的最终终目标标！ 从复杂杂的数据集合中发现发现 新的关联规则联规则 ， 继继而进进行深度挖掘，得到有效用的新信息 © Hitachi Data Systems Corporation 2014. All rights reserved.7 大数据-第三次浪潮的华彩乐章 2012年3 月份美国奥巴马政府发布了大 数据研究和发展倡议(Big Data Research and Development Initiative)，投资2 亿以上 美元，正式启动“大数据发展计划”。计划在 科学研究、环境、生物医学等领域利用大数 据技术进行突破。奥巴马政府的这一计划 被视为美国政府继信息高速公路 (Information Highway)计划之后在信息科学 领域的又一重大举措。与 2013年12月 贯彻落实广东省信息化发展 规划纲要（2013-2020年），加快物联 网、云计算、大数据等新一代信息技术创 新应用，推进我省智慧城市建设，打造珠 三角世界级智慧城市群，全面提升全省信息 化发展水平。 广东省委副书记 朱小丹 广东省经济 和 信息化委员会 副主任，党组 副书记邹 生 © Hitachi Data Systems Corporation 2014. All rights reserved.8 我们为什么需要大数据 § 在没有大数据技术之前，无论是机器，还是人工方式，无法获得 全量样本。以人口普查为 例，如果挨家挨户调 研，甚至随机抽取 做调研，都非常耗时，费力，很多国家甚至做不到每年发布一次 § 在没有大数据技术之前，大量海量数据中非结构化数据，分析与 计算，几乎是一个不可能逾越的鸿沟，更别说 挖掘价值了。 § 在没有大数据技术之前，分析数据仅作为参考目前现状的理论依 据，也就是经验说话 ，数据无法实时 展现价值。 § 在没有大数据技术之前，有原因所以有结果，维度由于分析能力 有限，无法表现其真正意义，相关而非因果。 价值变革价值变革 经济经济变革变革 © Hitachi Data Systems Corporation 2014. All rights reserved.9 9 大数据应用案例大数据应用案例 将大数据承诺转化为巨大的价值 © Hitachi Data Systems Corporation 2014. All rights reserved.1010 从“谷歌流感趋势”工具看大数据应用 跟踪搜索词相关数据来判断全美地区的流感情况 这个工具工作的原理大致是这样的：设计 人员置入了一些关键词（比如温度计、流 感症状、肌肉疼痛、胸闷等），只要用户 输入这些关键词，系统就会展开跟踪分析 ，创建地区流感图表和流感地图。谷歌多 次把测试结 果（蓝线）与美国疾病控制和 预防中心的报告（黄线）做比对，从图可 知，两者结论存在很大相关性。 © Hitachi Data Systems Corporation 2014. All rights reserved.11 以银行信贷审批决策为例 © Hitachi Data Systems Corporation 2014. All rights reserved.12 用户移动轨迹和精准用户群集分析应用 © Hitachi Data Systems Corporation 2014. All rights reserved.13 实时精准营销-只给最近的你 © Hitachi Data Systems Corporation 2014. All rights reserved.14 14 HDSHDS统一计算平台统一计算平台 支撑大数据应用的IT架构实例 © Hitachi Data Systems Corporation 2014. All rights reserved.15 新的大数据技术 传统数据库处理方式 池塘捕鱼 新的大数据处理方式 大海捕鱼 待待处处理的数据理的数据 数据规模数据类型模式和数据关系处理对象处理工具 © Hitachi Data Systems Corporation 2014. All rights reserved.16 数据的自由度和性能矛盾。 固定字段、维度的表结构，限制 了数据的入库和拓展。 数据处理 数据库 中间件 索引及应用开发 J2EE Storage Filesytem/LUN Database J2EEJ2EE WebWebWebWebWeb 数据索引方式的瓶颈，依赖文件目录结构（NAS）或私 有的位图块表结构（Block）。 非结构数据还需要上层数据库或文件系统提供索引； 面对大数据传统IT的架构的瓶颈 ü 存储成本（TB）20,000 rmb ü 数据库和中间件（TB） 15,000 rmb ü 计算（TB）30,000 rmb ü 技术服务（TB）10,000 rmb ü 应用服务 依赖合作伙伴 ü 总体拥有成本（TB） 75,000 rmb © Hitachi Data Systems Corporation 2014. All rights reserved.17 数据的膨胀带来更高的成本，但是已有的存储方式不支持线数据的膨胀带来更高的成本，但是已有的存储方式不支持线 性扩展，还带来了数据管理性能的低下性扩展，还带来了数据管理性能的低下 问题问题 后期维护成本 低下的数据管理性能 存储扩容成本 面对大数据传统IT的架构带来的问题 © Hitachi Data Systems Corporation 2014. All rights reserved.18 新的大数据处理技术-Hadoop 核心思想：分布式+经济 Hadoop : 分布式，大数据集，延时， 离线计算 NoSQL : 分布式，小数据集，灵活，实时 ，快速读写 © Hitachi Data Systems Corporation 2014. All rights reserved.19 天云&HDS大数据混合计算一体机 J2EE Web 离散的计算 整合的计算 HDS CR 220S Hadoop Distributions Streaming Searching Index MemDB BDP (BeagleData Platform)Integration/Autumation/Monitoring/Scheduling/Maintainance Data Mgnt: DataView Easy Fail sensedata zip/data lifescycleDR （Optional）BDA (Beagle Data Accelerator) 机器学习组件包 （Optional）BDF (Beagle Data Flow) 大数据中间件 SaaS/DaaS © Hitachi Data Systems Corporation 2014. All rights reserved.20 天云&HDS提供混合计算的能力 HDS CR 220S Hadoop Distributions Streaming Searching Index MemDB BDP (BeagleData Platform)Integration/Autumation/Monitoring/Scheduling/Maintainance Data Mgnt: DataView Easy Fail sensedata zip/data lifescycleDR 大数据储存大数据处理 数据分享 数据检检索 数据分析 数据展现现 © Hitachi Data Systems Corporation 2014. All rights reserved.21 基于事件的可视化管理 快速就绪的大数据平台 天云大数据平台: BDP Hadoop集群部署与管理 © Hitachi Data Systems Corporation 2014. All rights reserved.22 管理控制台 HA管理 集群性能监控 节点性能监控 集群磁盘监控 告警类型 可视化的运维管理 天云大数据平台: BDP © Hitachi Data Systems Corporation 2014. All rights reserved.23 天云&HDS 解决方案产品配置规格 型号大数据一体机 满配大数据一体机 半配 管理服务器 2台CR220S服务器，每服务器配置： 2* Intel® Xeon® E5-2470 64G内存 2*300 GB硬盘，12*3.5寸3T硬盘 1个4端口高性能千兆以太网卡 2台CR220S服务器，每服务器配置： 2* Intel® Xeon® E5-2470 64G内存 2*300 GB硬盘，12*3.5寸3T硬盘 1个4端口高性能千兆以太网卡 数据服务器 14台CR220S服务器，每节点配置： 2* Intel® Xeon® E5-2470 64G内存 2*300 GB硬盘，12*3.5寸3T硬盘 2个高性能千兆以太网卡 6台CR220S服务器，每节点配置： 2* Intel® Xeon® E5-2470 64G内存 2*300 GB硬盘，12*3.5寸3T硬盘 2个高性能千兆以太网卡 网络与交换 2台可管理全千兆以太网交换机2台可管理全千兆以太网交换机 其他选配硬件 附加硬件组</p>
