nnit大数据解决方案.ppt

NNIT大数据解决方案,创造数据的价值,,1. Why BigData 2. Why NNIT 3. 解决方案详细内容 4. 案例,2,1. Why BigData,,3,数据爆发时代的到来,通过媒体流通的信息量的变迁,比特数 （×1017）,【出处】2010年度信息流通统计调查报告书,未被利用 的信息,1998,2000,2002,2004,2008,20000,40000,60000,80000,0,被利用的信息量,,流通的信息量,,2006,■2025年,社会的信息量爆发为06年的200倍！ ■今后如何利用大量未开发信息来创造新价值，是我们的课题,多媒体信息 网络 电影/图像 电视机・收音机 社会媒体等 非结构化数据的增加,企业内信息 交易信息 日志信息 模拟数据数字化,传感器・机器等生成的信息 图像/各种测量数据,,,,,未被利用的信息比例 99.4%,4,信息时代无所不在的数据来源,5,大数据的商业价值,美国第二大百货商Target通过数据分析帮助销售额提升超过50%,,广告信,原有的美国婴儿用品营销: 根据公开的出生记录在婴儿出生后，海量的广告促销,Target的基于大数据分析的营销: 分析消费者的行为，对孕妇进行提前促销,,购买无香护手霜,善存钙片等,,分析数据,,广告信,6,大数据技术的应用行业,7,搜索 社交 游戏 视频,流通 电信 医疗交通 公安 制造,航空 电力 金融,,,民生,核心,～２０１２,２０１２ ～,,2. Why NNIT,8,大数据平台整体及NNIT注重领域,,,,,,处理 大量数据,处理 多媒体数据,数据库,分布式处理,面部识别,图像分析,数据挖掘,语音识别,：,：,运营商,收集,处理数据,保健,金融,能源,交通・物流,安全,推动 人・物・IT系统之间的互动,,互联网数据,,传感器数据,统计分析,数据挖掘,,,②对应激增的数据,③处理不同类型的数据,,①从传感器・机器收集信息,,,←NNIT注重领域,,提供大数据处理平台设计/构筑服务(使用NEC及开源产品) 定制开发大数据处理系统(可能需要与NEC其他部门或其他公司合作),9,,面向的客户,NNIT大数据平台的潜在客户具有以下特点： 有大量的文件或者数据需要处理/存储/访问 例：医疗影像、地图文件、GPS记录、电商网站的海量图片 非ＯＬＴＰ(非面向实时交易的系统) 例：银行BI、谷歌街景、FaceBook等 不会频繁修改已有数据内容 例：ERP系统不适合使用,10,NNIT大数据解决方案特点,高性价比 ・使用通用硬件比使用存储设备节省３０％以上 便捷 ・平台管理通过专用图形化管理系统ＯＤＰＭ，操作便捷 ・通过挂载可在１分钟内开始应用系统与平台间的文件交互而无需修改应用 易扩展 ・在管理系统上简单操作即可通过增加节点来提升系统存储容量及性能 ・平台存储量从１０ＴＢ扩展到１０ＰＢ也只需简单增加节点即可完成 ・平台性能随节点增加线形增长 整体解决方案 ・我们提供从系统整体设计优化、定制开发到数据迁移、系统实施等相关 服务的整体解决方案,11,ＮＮＩＴ大数据平台ODPF体系,12,MapReduce 分布式处理组件,ＯＦＳ 分布式文件存储系统,ＯＤＢ*1 KVS型分布式DB,ＯＤＰＭ 图形化的 平台管理系统,,*1：现版本ODPF的分布式数据库主要功能以Hbase为主,上图为平台管理系统ODPM,ＯＤＰＦ,其他Hadoop生态圈组件 SQL支持，数据迁移，ETL等,平台综合管理系统ODPM,・整体一站式管理 -管理作为前端主机的web/DB服务器(可为虚拟机) -管理NNIT大数据平台的整体配置/硬件/组件/运行状态等 -管理平台中的文件和数据 ・丰富的管理功能使平台运用更便捷 -Wizard向导功能：初期安装，节点追加等 -配置管理：平台的初期设定及修改等 -运维管理：监控、报警等 -数据管理：文件及数据的访问控制，副本管理，内容检索等,13,前端主机管理界面,OFS Volume管理界面,文件系统OFS,14,Web Server,应用程序直接读写存放在平台上的文件和数据,Jmeter,Jmeter,Jmeter,数据节点,Jmeter,Jmeter,Jmeter,数据节点,,,,DB Server,Web Server,,DB Server,,,,,,分布式文件系统 (从KB大小的数十亿海量地图图片到GB级别的数据库文件),ＯＦＳ,・便捷：无需修改前端应用程序即可连接OFS进行读写 ・高扩展性：通过简单追加数据节点即可线性扩展存储容量与性能 ・高性价比：硬件使用通用x86服务器避免昂贵小型机和存储设备 ・高可用性：自动副本管理机制对应硬件故障,,3. 解决方案详细内容,15,服务内容（基于数据生命周期）,数据生成,数据存储,数据处理,数据应用,分布式数据库，分布式文件系统,采集、监测软件,智能搜索与分析软件,系统集成、IT基础设施服务,咨询实施服务,信息安全,平台设备（网络设备、服务器等）,采集设备,信息服务,硬件,基础软件,应用软件,NNIT提供部分,NNIT与母公司或合作伙伴共同提供部分,16,解决方案内容,,,NNIT注力领域,17,解决方案内容（信息服务）,18,服务内容（基础软件）,19,目录,4. 案例,20,NNIT案例(1): 移动位置服务,21,作为移动位置服务的后端平台提供文件及数据的存储和访问,NNIT案例(1): 移动位置服务,22,内测版: ,初期系统规模: 14台机架式服务器（其中8台用于大数据集群） 初期数据规模: 100T ・20亿个文件(30KB/个的地图图片及500KB/个的卫星实景照片) ・数十万台车的GPS信息(2条/分) ・用户上传的照片等文件 系统性能： ・地图访问并发：受限于互联网带宽(平台内部支持万兆数据交换) ・GPS数据上传并发：每数据库节点1400条/秒,NNIT案例(2): 油井管理平台,,云平台,用大数据处理平台分析处理来自物联网传感器的海量数据,23,NNIT案例(2): 油井管理平台,,24,初期系统规模: 2千口新式油井 (国内油井数7万口) 初期数据规模: 容量:2TB+, 数据条数:二十亿条以上 (每口井每分发送2次1K数据包，保存1年以上) 系统效果： 提高生产效率及管理水平 ●中短期故障(结蜡，卡泵，短路，漏液等)自动分析， ●中长期生产经营信息(产量，电力成本控制等)自动分析,NNIT案例(2): 油井管理平台,25,1亿条数据: 3台8Core x86服务器 10亿条数据： 5台 100亿条数据： 10台,对全数据进行带有模糊匹配查询的分析扫描任务,NNIT案例(3): 食品溯源,,,,,,,,,,,,零售企业,流通企业,成品制造企业,原料制造企业,养殖厂,消费者,,农户,加强监管·杜绝假冒伪劣产品,提高安全安心 的附加价值,共享·掌握 运输和保管状态,食品溯源 平台,通过整合供应链上的各个环节达成对各种食品的综合管理,26,NNIT案例(3): 食品溯源,作为山东某食品集团企业内产品溯源，年产品量亿级别 ，将来扩展后变成地区内数百家大中规模食品企业的溯源平台 初期数据规模: 包含原料在内的数据条数十亿级别 系统用途： 消费者对单个产品进行包括原料在内进行溯源 精细生产管理 BI分析,27,参考：知名hadoop用户,28,它们都在使用改造过的hadoop平台,。