2019年大数据行业调研报告

2019年大数据行业调研报告分析2019年7月目录1.大数据行业概况及现状51.1大数据定义51.2大数据应用领域不断丰富51.3大数据主要应用领域71.4大数据发展阶段及市场规模82.大数据行业存在的问题92.1缺乏专业数据人才92.2行业发展良莠不齐112.3数据不充分不均衡，大数据产业基础不牢112.4信息孤岛严重且数据质量低122.5资源共享难，隐私问题大122.6技术应用创新滞后132.7技术难以满足业务需求132.8大数据平台监管不足，数据安全问题频发132.9竞争不规范，影响产业发展142.10数据开放程度较低142.11安全风险日益突出152.12数据治理法律规范尚不完善153.大数据行业市场分析173.1我国大数据市场产值达到4700亿元，对数字经济贡献大173.2大数据产业规模加速增长173.3数据需求快速增长194.大数据行业发展趋势分析234.1分析方法发生变革234.2与云计算、人工智能等前沿创新技术深度融合234.3针对制造业的大数据解决方案不断升级，助力智能制造244.4成为重要战略资源244.5数据隐私标准将出台244.6网络安全问题凸显254.7以数据为中心的解决方案与应用的兴起254.8政策影响趋势264.9技术影响趋势264.10人才影响趋势264.11资本影响趋势275.大数据行业市场竞争格局285.1竞争态势285.2市场竞争结构285.3市场竞争区域分布296.大数据行业政策及环境分析316.1中国大数据产业政策紧密出台，行业应用成为重点316.2大数据产业政策环境分析327.大数据行业发展前景367.1中国占据重要市场367.2大数据基础设施建设持续增长377.3分析领域快速发展377.4与云计算密不可分377.5数据分析共享将成为主流377.6安全与隐私更受关注387.7应用层级爆发387.8大数据分析在汽车领域的应用387.9大数据场景化应用助力大数据应用市场规模发展升级407.10大数据开放共享进度加快417.11政府大数据深入应用417.12大数据相关立法加快427.13统筹规划大数据发展427.14加快信息基础设施建设427.15保障大数据端到端安全437.16加强大数据平台建设437.17繁荣大数据产业生态448.大数据行业投资分析441. 大数据行业概况及现状 大数据一词最早出现是在1980年著名未来学家托夫勒在其所著的第三次浪潮中，书中提出“如果说IBM的主机拉开了信息化革命的大幕，那么大数据才是第三次浪潮的华彩乐章。” 2008年9月自然杂志推出了名为“大数据”的封面专栏，从此大数据开始崭露头角，2009年“大数据”才成为信息技术行业中的热门词汇。2011年6月全球知名咨询公司麦肯锡发布大数据：下一个创新、竞争和生产力的前沿研究报告，最早提出“大数据时代已经到来”，从此大数据开始成为全球“网红”，美国、中国、英国、日本等纷纷提出要投资这位“网红”，引爆大数据发展的浪潮。1.1 大数据定义大数据在业内并没有统一的定义，不同厂商、不同用户，站的角度不同，对大数据的理解也不一样。随着大数据的不断火热，其定义通常指具有体量巨大(Volume)处理速度较快(velocity)、数据类型多样(variety)以及商业价值较高(Value)等4V特点的数据。1.2 大数据应用领域不断丰富从国内投融资领域的分布来看，2018年1-12月的183家融资企业中，大数据行业应用方面共发生了81起投融资事件，其中，金融行业投融资事件最多为35起，医疗健康其次为12起投资事件。大数据产业具备了良好基础，面临难得的发展机遇，但仍然存在一些困难和问题。一是数据资源开放共享程度低。数据质量不高，数据资源流通不畅，管理能力弱，数据价值难以被有效挖掘利用。二是技术创新与支撑能力不强。在新型计算平台、分布式计算架构、大数据处理、分析和呈现方面与国外仍存在较大差距，对开源技术和相关生态系统影响力弱。三是大数据应用水平不高。虽然大数据具有强劲的应用市场优势，但是目前还存在应用领域不广泛、应用程度不深、认识不到位等问题。四是大数据安全体系不健全。数据所有权、隐私权等相关法律法规和信息安全、开放共享等标准规范不健全，尚未建立起兼顾安全与发展的数据开放、管理和信息安全保障体系。五是人才队伍建设亟需加强。大数据基础研究、产品研发和业务应用等各类人才短缺，难以满足发展需要。1.3 大数据主要应用领域谈及大数据应用，可以分为政府服务类应用和行业商业类应用两种。政府服务类数据应用为政府管理提供强大的决策支持。在城市规划方面，通过对城市地理、气象等自然信息和经济、社会、文化、人口等人文社会信息的挖掘，可以为城市规划提供强大的决策支持，强化城市管理服务的科学性和前瞻性;在交通管理方面，通过对道路交通信息的实时挖掘，能够有效缓解交通拥堵，并快速响应突发状况，为城市交通的良性运转提供科学的决策依据;在舆情监控方面，通过网络关键词搜索及语义智能分析，能提高舆情分析的及时性、全面性，全面掌握社情民意，提高公共服务能力，应对网络突发的公共事件，打击违法犯罪;在安防领域，通过大数据的挖掘，可以及时发现人为或自然灾害、恐怖事件，提高应急处理能力和安全防范能力。政府服务类大数据与民生密切相关，其应用主要包括智慧交通、智慧医疗、智慧家居、智慧安防等，这些智慧化的应用将极大地拓展民众生活空间，引领大数据时代智慧人生的到来。行业商业类大数据应用较多，主要将大数据与传统企业相结合，有效提升运营效率和结构效率、推动传统产业升级转型。因此，各产业都在深入挖掘大数据的价值，研究大数据的深度应用，可以说，大数据在各行业的全面深度渗透将有力地促进产业格局重构，成为中国经济新一轮快速增长的新动力和拉动内需的新引擎。目前，众多应用领域中，电子商务、电信领域应用成熟度较高，政府公共服务、金融等领域市场吸引力最大，具有发展空间。1.4 大数据发展阶段及市场规模目前，从发展阶段来看，我国大数据产业处于快速推进期，中国和美国几乎同一时期关注大数据产业，但与美国存在一定的差距，究其原因，美国是全球信息技术产业的领头羊, 在硬件和软件领域都拥有超一流的实力, 早在大数据概念火热起来之前, 美国信息技术产业在大数据领域已经有了很多技术积累, 这使得美国的大型信息技术企业可以迅速转型为大数据企业，从而推动整个大数据产业在美国的发展壮大。另外中国数据大多数都掌握在政府手里，数据源比美国相对封闭，数据分析受到局限，影响大数据的发展。虽然目前中国在大数据领域稍滞后美国，但是从全球范围来看，大数据产业已经开始处于概念热潮的峰值滑落阶段，而我国大数据产业市场规模仍保持超高速增长。预计2020年全球大数据市场规模将超过10270亿美元，我国大数据市场规模将接近13625亿元。2. 大数据行业存在的问题虽然我国大数据产业快速发展，但是仍存在行业发展良莠不齐、数据开放程度较低、安全风险日益突出、技术应用创新滞后等四大挑战。2.1 缺乏专业数据人才由于人才缺乏、大数据咨询服务还没有发展起来等原因，用户很难对大数据项目有全面的认识，容易受到厂商的左右，导致建设内容的盲目;由于缺乏对产业的整体认识和大数据企业评价标准、方法，所以在大数据服务商选择上也存在一定的盲目性。近年来，我国大数据产业发展进入爆发期，由于成熟的人才培训体系尚未建立，直接导致人才短缺的问题日益突出。“我们面临的最严重的问题就是应用场景和人才的问题，应用场景的问题是需要时间，人才问题是我这么多年来碰到的最严峻的问题。”鄂维南说。人才不足限制了大数据产业创新发展的成效。清华大学计算机系教授武永卫透露的数据显示，未来3至5年，中国需要180万数据人才，截至目前，中国大数据从业人员只有约30万人。LinkedIn(领英)发布的2016年中国互联网最热职位人才报告则显示，数据分析是当下中国互联网行业需求最旺盛的6类人才职位之一。同时，大数据行业选才的标准也不断变化。初期，大数据人才的需求主要集中在ETL研发、系统架构开发、数据仓库研究等偏硬件领域，以IT、计算机背景的人才居多。随着大数据往各垂直领域的延伸发展，对统计学、数学专业的人才，主要从事数据分析、数据挖掘、人工智能等偏软件领域的需求加大。在高端人才稀缺的现实情况下，企业多选择从海外和传统行业挖掘跨界人才，但仍然无法满足国内市场的大量需求。针对大数据人才供应不足的现象，各种培训机构和各大高校也开始强化大数据人才的培养。但培养大数据人才需要时间，在短期内对于大数据领域的高端人才仍然会呈现出供不应求的现象。值得注意的是，今年3月份，教育部公布了第二批获准开设“数据科学与大数据技术”的高校名单，加上第一批获批的北京大学、对外经济贸易大学、中南大学，一共35所高校获批开设该专业。今年开始，部分院校将招收第一届大数据专业本科生。对于大数据人才建设，潘文表示，要建立适应大数据发展需求的人才培养和评价机制，并建立健全多层次、多类型的大数据人才培养体系。同时，还要完善配套措施，培养大数据领域创新型领军人才，吸引海外大数据高层次人才来华就业、创业。2.2 行业发展良莠不齐我国大数据仍处于起步发展阶段，行业标准和管理机制尚未成熟，在“万众创新，大众创业”的大环境下，大量的大数据企业不断涌现，存在很多企业借大数据概念热潮投机倒把，行业发展良莠不齐; 而且企业在创新、创业过程，由于缺乏对大数据产业链的认识，出现许多跟风扎堆的情况，没有有效发挥自身优势，造成巨大的资源浪费。往往一窝蜂跟去的时候就会发现全是坑，而且“此去华山一条道”，满满的全是竞争对手。盲目的追逐投资热点，极大降低了资本对大数据行业发展的正向推动力。目前，监管层缺乏对大数据企业的识别评价的标准和规范，很难对大数据企业和机构进行有效的监管以及正确引导，为大数据发展打造一个良性的生态环境就比较困难。2.3 数据不充分不均衡，大数据产业基础不牢近年来，我国大数据技术投入不断增加，大数据发展蒸蒸日上，以互联网业、金融业和电信业为代表的大数据发展相对完备，数字化程度较高，数据储备量巨大，然而数据发展不平衡不充分的问题依然突出。根据2017中国地方政府数据开放平台报告，全国19个地方政府数据开放平台中1/4的数据机器可读性较差，尤其在公共服务、教育、就业等领域数字基础设施建设不足，数字化程度亟待提升。2.4 信息孤岛严重且数据质量低企业启动大数据最重要的挑战是数据的碎片化。在很多企业中尤其是大型的企业，数据常常散落在不同部门，而且这些数据存在不同的数据仓库中，不同部门的数据技术也有可能不一样，这导致企业内部自己的数据都没法打通。形成了数据孤岛，导致大数据的价值非常难挖掘。而且很多中型以及大型企业，每时每刻也都在产生大量的数据，但很多企业在大数据的预处理阶段很不重视，导致数据处理很不规范。再加上因为没有应用场景，删除很多有价值的历史数据，导致企业的数据的可用性差，数据质量差，数据不准确。2.5 资源共享难，隐私问题大 政府部门是社会信息的主要控制者，其信息又分别被不同部门和区域控制，而不同部门和区域间的数据标准各异，政府内部本身整合各部门的数据就已经是一件很头大的事情，更不要提大规模的数据