大数据技术及产业应用

1、1大数据问题及技术与产业应用清华大学苏研院大数据处理中心 海量数据212+ TBs of tweet data every day25+ TBs oflog data every day? TBs ofdata every day2+ billion people on the Web by end 2011 30 billion RFID tags today (1.3B in 2005)4.6 billion camera phones world wide100s of millions of GPS enabled devices sold annually76 million smart meters in 2009 200M by 2014 数据分析复杂度大数据Big Datav大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合v大数据 = “海量数据”+“复杂类型的数据”v涉及各个行业领域 电力、电信、经贸、教育、医疗、金融、石油、民航 天文、气象、基因、医学、物理、互联网 与人类社会活动有关的网络数据4大数据特征5不同结构的复杂数据：关系型数

2、据、日志和文本数据流量大：数据处理从批处理转向流处理大容量：从TB、PB到ZB数据即资源，体现价值，数据中能挖掘出价值信息Variety:Velocity:Volume:Value： 数据=价值6数据正在成为各行各业，乃至每个人最关心、最有价值的东西医生需要了解病人病历以及典型病人治疗方式相关数据，以便对症治疗；疾病预防中心需要了解疫情爆发、扩散的相关数据，以便做好疫情防御；医院需要病床、药品及季节行流行病相关数据，以便统一部署医疗设施；股票经济人需要对股票行情数据分析，判定下一个市场投资热点 ；公司供应链需要了解产品进销存数据，以便下一步备料生产；企业经营者需要对市场数据进行分析，以便制定企业下一步的市场策略；投资者需要靠数据进行投资前景、可行性进行分析评估，确保投资收益；民航、酒店需要了解旅客的出行规律，以便更好的服务客户 ；商场、商家需要了解顾客的生活习惯、购物心理，制定最有效市场推广方式；商业网站则需要了解用户的网络浏览方式，以便推出更贴切客户习惯的产品；癌症研究者需要了解分子结构和癌分子的绑定数据，以便研制新型的抗癌药；石油勘探需要需要了解地质数据并分析建模；气象工作者需要了

3、解海洋气候数据，以便发布及时准确发布；大数据蓝海7区域发展气候信息行业信息市场信息国家战略投资信息经济信息生活咨询贸易信息旅游咨询计算应用分析加工 个人生活相关 （投资理财、居家生活、旅游出行） 企业发展相关 （投资前景、市场战略、市场先机） 区域经济发展 （区域规划、城市发展、发展先机） 国家发展战略 （全球经济、国计民生、政策法规）大数据影响到我们生活周边的各个方面。大数据处理的意义8 云计算等新兴信息技术正在真正地落地和实施 云计算等新兴信息技术恰恰是是解决大数据问题的核心关键大数据不是噱头，是技术发展的必然阶段 有充足的应用场景 有一个系统科学的方法论 合理的人才和知识储备 有极为广泛的创新动机应用背景对大数据的推动作用大于其他条件 关键技术和核心技术各国之间的差距不是很大，这是追赶和减少绑架进而实现自主创新的最大契机大数据是一个不可多得的发展机遇海外市场环境v 美国奥巴马政府2012年推出了“大数据研究和发展倡议” ，并投资2亿美金支持大数据的研发，说明大数据已成为信息科技领域的热点。v 资本市场高度关注大数据技术型企业的发展 风投机构Accel Partners设立1亿美元

4、专项基金 大数据分析公司Splunk，首日上市IPO即上涨109% 大数据软件提供商Birst公司今年已经从红杉资本等机构获得了2600万美元的投资 为开源大数据技术Hadoop的商业版本提供销售和支持服务的Cloudera获得7500万美元投资 MapR、10Gen、DataStax等大数据软件服务商近期都完成了千万美元级的融资。9市场预测10根据Wikibon最近发布的报告，大数据市场正处在井喷式增长的前夕，未来五年全球大数据市场价值将高达500亿美元。国内云计算及大数据市场已经初步具备发展态势，据研究表明，大数据市场规模也将从2010年的167亿元增长到2013年的1174亿元，年均复合增长率达到91.5%。市场规模11 2012年政府、互联网、电信、金融的大数据市场规模较大，四个行业将占据一半市场份额。大数据问题12 导入导出问题 统计分析问题 检索查询问题 实时响应问题 速度方面的问题 多源问题 异构问题 原系统的底层架构问题种类及架构问题 线性扩展问题 动态调度问题体量及灵活性问题 大机与小型服务器的成本比对 原有系统改造的成本把控成本问题 数据分析与挖掘问题 数据挖掘后的

5、实际增效问题价值挖掘问题 结构与非结构 数据安全 隐私安全存储及安全问题 数据标准与接口 共享协议 访问权限互联互通与数据共享问题大数据技术13 报表、图形、可视化工具、增强现实 查询、统计、分析、预测、挖掘、图谱、BI计算结果展现 分布式文件系统，分布式数据库 数据计算 ETL工具，数据总线数据存储 云计算平台、云存储、分布式文件系统等 数据采集基础架构支持行业大数据应用的挑战14清华大学大数据产品及成果 计算、网络、存储资源的虚拟化管理、调度、监控 跨数据中心的虚拟资源池部署、配置、管理云计算管理平台： 分布式自容错、自恢复的云存储系统虚拟资源池管理系统： 高效率的、支持综合查询及事务的分布式数据库大规模分布式云存储系统： 结合多模态的大数据综合处理平台分布式闪电数据库： 分布式数据挖掘平台行业大数据处理平台： 多媒体综合检索、识别及语义分析平台数据挖掘算法平台： 3D数字化建模及体感交互控制技术视频处理平台：3D建模及体感交互技术：15行业大数据解决方案v 云燕：大规模任务流程管理系统 应用定制 复杂流程管理 自动容错机制 可视化 v 云鹰： 大规模任务调度系统 轻型高效的任务调

6、度：每秒分发几千个任务 高可扩展性支持：上千万任务、数十万CPU 跨数据中心资源协同使用 自动负载均衡 v 云龙：云资源管理监控系统 集中统一的计算平台：资源共享，弹性调度 虚拟镜像：自动应用环境部署 完善的监控及日志功能 16云燕系统架构17云燕解决海量数据计算中数据的多样复杂性、系统的异构性、系统流程管理问题； 自动实现并行化的运行，能够运行于集群、网格、超级计算机及云平台上。管理调度160000个CPU核18应用效果：医药学靶点分析19CPU核: 118784任务数: 934803运行时间: 2.01 小时CPU年: 21.43利用率: 持续: 99.6%总体: 78.3%吞吐量 (任务/秒) 完成任务数处理器数目时间 (秒)处理器活动的任务完成的任务吞吐量(任务/秒)大数据应用20大数据智慧安全智慧商业国家电网中航信工商总局审计中移动智慧城市智能交通智能社区智能政务国家电网21中航信v动态航班联程 300万航班实时路径搜索与规则匹配 90%的查询操作在50ms内完成v跨数据中心同步v分布式数据库22中移动v营销数据分析及建模 移动终端促销 数据业务/手机应用推广23社保审计大数据处理24政策分析模型绩效监测模型分析型监测模型合法性合规性监测模型基础数据统计业务审计、财务审计、复核审计供养比、替代率、基尼系数可持续性、政策一致性等地市区划或行业划分业务流程险种企业职工基本养老保险发放数据A市职工基本医疗保险征缴数据清华大数据中心运营模式25企业企业研究院研究院生产一线生产一线企应用专家组政政府扶持力量海外资源产专家委员会研专业研究人员学师资团队企业化平台合约关系优势：企业化运营独立法人机构研发、实施、运维、服务以现代服务业理念服务于行业需求大数据应用建议正确应对大机、单机问题从应用端的单一问题，简单问题出发，以解决问题入手深入生产一线去发现问题建立我们自己的大数据创新机制和方法论与咨询、培训机构合作，培养自己的技术队伍央企在转型升级中要发挥排头兵和主力军的作用26总结与展望27大数据是未来几年的发展热点掌握数据就掌握了资源和价值大数据技术是自主创新和突破垄断的最大契机行业大数据应用是促进产业升级的关键

《大数据技术及产业应用》由会员TH****3P分享，可在线阅读，更多相关《大数据技术及产业应用》请在金锄头文库上搜索。