赛迪顾问-大数据生命周期全景与产业发展IADP模型研究范文.docx

本期主题大数据产业链全景与产业发展IADP模型研究一、大数据产业链全景概览（一）大数据发展背景2012年3月，美国奥巴马政府启动“大数据研究和发展计划”，投入2亿多美元推动大数据提取、存储、分析、共享、可视化等领域的研究，并将其与历史上对超级计算和互联网的投资相提并论此举引发了世界各国政府对大数据的高度关注那么，“大数据”究竟是IT界又一概念炒作的噱头，还是产业发展的必然趋势？“大数据”是一种单纯的技术形态，还是人类社会全面进步的里程碑？事实上，大数据是数据开放和流动、IT技术进步和应用发展的必然结果早在上个世纪六十年代，美国白宫预算局就提出了当时堪称革命性的创新计划——成立一个被称为“中央数据银行”的统一大型数据库，把政府部门所有的数据库连接、集中、整合起来，提高数据的准确性和一致性；八十年代，美国就有人提出了“大数据”概念，企业界、学术界不断对此进行探讨；1995年麻省理工学院教授尼葛洛庞帝出版了《数字化生存》，率先提出“后信息时代”的概念，指出海量数据正在流动、时空障碍将被打破，个人将在后信息时代获得更大的解放；《自然》杂志在2008年9月推出了名为“大数据”的封面专栏，讲述了数据在数学、物理、生物、工程及社会经济等多学科扮演的愈加重要的角色；2009年，奥巴马就任美国总统，任命了美国历史上第一位首席信息官和首席技术官，并建立了统一的数据开放门户网站Data.gov，全面开放政府拥有的公共数据，鼓励更多的创新型应用，提高政府的效率和效能；2011年，麦肯锡出版了《大数据：创新、竞争和生产力的下一个新领域》，产学研界对“大数据”的关注达到一个新的高度。

图1 大数据发展历程数据来源：赛迪顾问整理全球的数据总量正呈指数增长，过去三年间产生的数据量超过以往总和2011年全球被创建和被复制的数据总量达1.8ZB；预计2020年全球电子设备存储的数据将增至35.2ZB大数据已经成为一种社会现象：它既是对既往IT技术发展至今的高度抽象和概况，同时抓住了IT技术服务于人、数据蕴藏价值的本质大数据之“大”，不仅仅在于其容量之大——虽然数据容量的爆炸的确给数据的采集、存储、维护、共享带来了具有研究意义的现象和挑战，但大数据之“大”更多的意义在于：人类可以处理、分析并使用的数据在大量增加，通过这些数据的处理、整合和分析，人类可以发现新知识、创造新价值，带来“大知识”、“大科学”、“大利润”和“大发展”，逐渐走向大众创新的“大社会”时代图2 大数据的三维增长特性数据来源：赛迪顾问整理（二）大数据产业链全景概览因循数据的流动性和开放性，目前中国已初步形成了从数据产生到应用、继而产生新数据的环形产业链从数据产生到应用，参与企业逐渐增多，数据价值逐级放大图3 大数据产业链数据来源：赛迪顾问 2012，111、数据产生和采集随着近年来社会各行业信息化发展的日臻成熟、社会化网络的兴起，以及云计算、移动互联网和物联网等新一代信息技术的广泛应用，数据内容、数据结构和数据采集手段变得日益多元。

数据按其内容可大致划分为社会舆情数据、业务数据和环境资源数据这三类数据；三者之间存在一定的交叉和重叠数据按其产生和采集手段可划分为IT方式和非IT方式通过IT手段生产和采集的主要有三种：交易数据、交互数据与传感数据其中，交易数据来自于企业ERP系统、各种POS终端、以及电子支付系统等业务系统；交互数据主要来自于Web2.0技术的各类网络应用，应用硬件载体除传统网络终端，更多则是智能、平板电脑、车载终端等移动设备；传感数据则来自于各种物联网的“感知层”设备，如GPS设备、RFID设备、视频监控设备等图4 数据产生来源和采集手段数据来源：赛迪顾问 2012，112、数据传输从理论上讲，数据在流转过程中的任何阶段都存在传输问题目前数据传输主要通过通讯与网络传输或者光传输来实现大数据时代对数据传输软硬件技术和设备都提出了更高的要求：随时随地、高速、稳定、安全地传输各种大小的结构化数据或非结构化数据如交通应急指挥就是体现以上要求的典型应用图5 数据传输技术和途径数据来源：赛迪顾问 2012，113、数据存储随着数据量急剧增加，许多IT厂商致力于研究存储方案，加速了存储技术的发展并且非结构化数据增长速度远超过结构化数据；据预测，到2020年全球将有超过80%的数据为非结构化数据。

用户面临的问题是：如何安全有效存储这些数据？除了新增的数据量，如何做好既有数据的保护？多数用户都会进行数据备份，无形中数据量增长了数倍，那么数据容量的增长给使用者带来了非常大的压力那么如何提高存储空间的使用效率？如何降低需要存储的数据量？这些都是大数据时代用户时时要考虑的问题应对存储容量的资源优化管理技术会成为关注热点，如重复数据删除（适用于结构化数据）、自动精简配置和分层存储等技术，都是提高存储效率最重要、最有效的技术手段如果不采用虚拟化技术，存储利用率只有20%-30%；通过使用这些技术，利用率将提高80%，可利用容量将增加数倍结合重复删除技术，备份数据量和带宽资源需求可以减少90%以上此外，云存储作为非常有效的资源补充，能够有效提高使用者的IT资源利用率，将会被越来越多的企业级和个人消费者所采用图6 数据存储的软硬件基础设施数据来源：赛迪顾问 2012，114、数据处理数据处理是目前整个大数据产业链的薄弱环节，尤其是数据质量问题，更是其中的软肋大数据蕴藏的价值虽然巨大，价值密度却很低，往往需要对海量的数据进行挖掘分析才能得到真正有用的信息，从而形成用户价值但在数据挖掘分析之前，必须进行数据处理，其目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取出对于某些特定的人们来说是有价值、有意义的数据；包括数据清洗，即过滤掉不完整的数据、错误的数据、重复的数据等不符合要求的数据，然后进行数据装载、查询、展现等。

在这一过程中，如果数据源质量不佳或者代码不严谨，都会导致数据失真，用户看到的错误信息将可能导致分析出错误的决策结论用户拥有的数据质量与其业务绩效之间存在着直接联系，高质量的数据可以使其保持竞争力并在经济动荡时期立于不败之地有了普遍深入的数据质量控制技术，企业在任何时候都可以信任满足所有需求的所有数据为了充分实现数据资产的业务价值，企业往往通过一个数据整合/集成平台来进行数据质量控制，找出并修正隐藏的数据瑕疵，随时随地交付及时、可信的各种类型数据图7 数据处理软件和技术数据来源：赛迪顾问 2012，115、数据分析数据分析是大数据产业链中最有“含金量”的环节大数据时代，理解数据所代表的内容成为一项挑战由于事务型数据和决策支持型数据的处理性能不同，需将将决策支持型数据处理从事务型数据处理中分离出来，再从事务型数据库中导入数据仓库，继而采用OLAP（联机分析处理）工具、数据挖掘工具等进行分析、智能决策，提高决策的科学性和水平，完善各种管理流程，增强综合竞争力的智慧和能力大数据时代，包括政府在内的各行业用户对数据分析功能的需求更加旺盛，同时对数据分析的广度和速度都有更高要求，促进IT厂商加快了对于数据分析技术的研发创新。

一方面，大数据分析不再局限于结构化的历史数据，而更倾向于分析来自社交网络、RFID传感器等的非结构化数据，促进了对非结构化数据的分析技术创新另一方面，激烈的市场竞争促使行业用户对于数据分析的速度更加重视，促进了大数据解决方案厂商加大对数据的快速、实时分析、智能决策技术的研发投入通常意义上的数据挖掘、分析主要集中于公共服务和商业范围，数据分析的另一广阔领域则是工业领域很多工业软件都具有强大的数据分析功能，如研发设计类的CAX/PLM软件、自动控制类软件等图8 数据分析软件和技术数据来源：赛迪顾问 2012，116、数据发布、展示和应用大数据具有广泛的应用需求，在政府、行业、个人三个层面呈现出不同的应用特征：政府应用大数据，能够整合资源、提升监管水平、建设透明政府；行业应用大数据，能够科学决策、提高业务敏捷度、获取商业价值；个人应用大数据，能够提高生活质量、实现个人价值图9 数据发布、展示和应用数据来源：赛迪顾问 2012，11二、大数据产业发展趋势（一）产业生态发展趋势1、大数据发展的IADP模型“大数据”一词内涵丰富、外延广阔，既融合了IT产业发展的一切组成要素，又直接体现了“科技改变生活”的理念，带有浓厚的社会学色彩。

大数据生态系统发展融合了众多的参与者，可以基本划分成四大角色，它们在产业发展中的地位和作用各有不同大数据组成要素可抽象归纳为“IADP模型”图10 大数据IADP模型——产业生态四大角色数据来源：赛迪顾问 2012，11大数据产业发展遵循由低级到高级的“IADP模型”基础设施（Infrastructure）——应用（Application）——数据（Data）——人与社会（People）”既是完整的大数据产业生态中的四大角色，又是大数据产业四个发展阶段的具有代表性的关键词表1 大数据IADP模型——四个发展阶段及其主要特征发展阶段（以关键词命名）主要特征基础设施（Infrastructure）以IT基础设施（包含硬件和软件）建设为主要发展内容，数据采集、传输、存储、处理、分析都将直接依赖相关软硬件设施和技术的建设发展；应用较为单一，商业模式不成熟，未实现规模经济应用（Application）基础设施已初具规模、相对完善，数据处理和分析水平达到相当水准，应用软件和应用形态极大丰富，生态系统日益庞大，商业模式日渐成熟，基本实现规模经济数据（Data）数据本身已成为最重要的业务，重视数据资产、挖掘数据价值、丰富数据应用已成共识；国家关于数据的法规政策日益开放，很大程度上实现数据的流动性和开放性，数据资源公开、透明、共享。

人与社会（People）通过大数据，发现新知识、创造新价值，带来大知识、大科学、大利润和大发展，实现社会全面进步，逐渐走向大众创新的“大社会”时代数据来源：赛迪顾问 2012，112、产业链的垂直整合和分化裂变从数据价值的角度看IT产业，生态系统原有的各方参与者将被赋予新的任务和标签，面临着新一轮的产业洗牌在长长的大数据产业链的前端和中端，IT行业将进一步垂直整合；从数据采集、传输、存储到数据处理、分析，都将成为大数据发展的基础设施为了满足大数据时代对整体解决方案的需求，大数据方案提供商不断扩展自己的产品线，并致力于推出软硬件一体化的集成设备，因而加速了“硬件+软件+服务”的IT行业垂直整合进程例如：IBM近几年持续收购商业分析领域的公司，提升自身产品的分析能力Oracle持续投资Sun的核心技术，完善软硬一体化的大数据战略EMC收购数据仓储技术提供商Greenplum及敏捷软件（Agile Software）开发服务与工具供应商Pivotal Labs，从而为客户提供一体化的解决方案表2 近几年IT巨头在大数据领域的并购情况公司时间收购情况VMware2012.4.25收购数据分析公司Cetas，仅成立18个月HP2010.9.3收购存储企业3PAR，花费23.5亿美元2011.2收购分析及数据管理软件公司Vertica2011.8收购海量数据公司Autonomy，花费100亿美元Teradata2011收购Aprimo和Aster Data两家大数据技术处理公司IBM2010.9收购商业。