数据云中心建设与应用.doc

十二师数据云中心建设与应用一、 项目单位的基本情况兵团第十二师下辖7个团场、四大集团公司130余家企 业，主要团场位于乌鲁木齐市南、西、北面近郊，所在区域 均纳入乌昌石城市群总体规划，是兵团和乌昌地区最具拓展 空间和发展潜力的核心区域全师交通方便，境内公路铁路 纵横交错，第二条欧亚大陆桥北疆铁路和乌伊312国道、 乌奎高速公路、吐乌大高等级公路横穿境内，乌鲁木齐国际 机场、火车站、客运汽车站随即到达师境内有良好的水、 电、路、通讯等设施，具有独特的地理位置和广阔市场发展 空间亚洲大陆中心位于西山农场场部约5公里处项目承担新疆中瑞恒远商贸集团有限公司，是十二师直 属国有企业，于2011年4月28日成立，注册资金20183万元 公司经营范围：市场开发、投资管理、仓储服务、场地租赁、 房屋租赁；各种钢材、建材、农副产品；货物进出口业务等 集团公司目前下设子公司35家其中：全资子公司7家、 控股子公司5家、参股子公司3家；二级子公司14家；三 级子公司6家集团公司现拥有新疆宝新恒源钢材物流园、 新疆恒汇国际机电汽配城、世界城总部家居博览中心、兵团 乌鲁木齐国际物流园、新疆华威机械机电综合市场、新疆金 石恒远石材城等6大专业市场和三葛庄铁路专用线、兵团（头 屯河）综合物流枢纽中心、新疆中瑞恒远电子商务平台、兵 团交通物流港等项目。

近年来，集团公司坚持以国家“一带 一路”规划建设为统领，紧紧围绕十二师党委提出的着力构 建“大商贸、大物流、大流通”的发展战略这一主线，本着 高起点规划、高标准建设、高水平管理的建设目标，以培育 市场为重点，以项目建设为抓手，以招商推广为手段，大力 发展现代物流业，并将“电子商务平台和物流信息交易平台 建设”作为企业未来发展的增长极，努力将集团公司建设成 为“立足新疆、面向全国、辐射中亚”，集“加工、仓储、 装卸、配送、电子交易”等多种功能于一体的大型现代流通 企业集团集团公司规划到十三五末，力争建成资产规模超 200亿元，市场营业额超800亿元，增加值超100亿元，实 现利润超3亿元主要参与单位：十二师网信中心：协助发改委及工业局做好十二师信息 化指导及规划工作十二师国资公司：十二师国有资产经营（集团）有限责 任公司（简称“十二师国资（集团）公司”）成立于2002 年7月24日，是由新疆生产建设兵团农十二师国有资产监 督管理委员会投资设立的管理型公司截止2014年12月， 十二师国资（集团）公司注册资本27,873.61万元，总资产 72.99亿元，净资产26.17亿元,实现利润1.21亿元。

十二师卫生局，十二师综治办，十二师民政局；二、项目的基本情况（1）国内外研究现状（一）国外发达国家启动大数据布局2012年3月，美国政府发布 《大数据研究和发展倡议》，投资2亿美元发展大数据，用 以强化国土安全、转变教育学习模式、加速科学和工程领域 的创新速度和水平；2012年7月，日本提出以电子政府、电 子医疗、防灾等为中心制定新ICT （信息通讯技术）战略， 发布“新ICT计划”，重点关注大数据研究和应用；2013年 ［月，英国政府宣布将在对地观测、医疗卫生等大数据和节能 计算技术方面投资1-89亿英镑跨国IT企业进入大数据领域传统数据分析企业天睿公 司（Teradata）、赛仕软件（SAS）、海波龙（Hyperion）、 思爱普（SAP）、Cognos. SPSS等在大数据技术或市场方面 各占据一席之地谷歌、Facebook等大数据资源企业优势显 现甲骨文、IBM、微软、SYBASE.易安信（EMC）、英特 尔等企业陆续推出大数据产品和方案抢占市场，如甲骨文公 司的 Oracle NoSQL 数据库、IBM 公司的 InfoSphere Biginsights 数据分析平台、微软公司Windows Azure上的HDInsight大数 据解决方案、EMC 公司的 Greenplum UAP （Unified Analytics Platform）大数据引擎等。

大数据技术发展迅猛数据技术从早期在单机上处理单 一类型数据，发展到当前在计算机集群上处理多类型数据， 实现时间宽松的数据分析应用随着数据量发展到PB、EB 级甚至更大，并且要求更快的处理分析时间，大数据专用计 算机、异地分布式计算机集群、多类型多来源数据的处理和 分析、数据网络等复杂结构数据的分析、秒级时间分析等通 用技术以及各种面向领域的应用技术是大数据技术的发展 趋势以 HDFS、GFS^ MapReduce、Hadoop> Storm> HBase> MongoDB为代表的一批大数据通用技术和开源项目迅猛发 展数据科学研究不断壮大在大数据应用的技术需求牵引 下，数据科学研究和人才培养引起各国重视美国哥伦比亚 大学和纽约大学、澳大利亚悉尼科技大学、日本名古屋大学、 韩国釜山国立大学等纷纷成立数据科学研究机构；美国加州 大学伯克利分校和伊利诺伊大学香槟分校、英国邓迪大学、 中国香港中文大学等一大批高校开设了数据科学课程 Facebook等着名企业开始设立数据科学家岗位二）国内政府和科研机构开始高度关注大数据2012年22月， 国家发改委数据分析软件开发和服务列入专项指南；2013年 科技部将大数据列入973基础研究计划；2013年度国家自然 基金指南中，管理学部、信息学部和数理学部将大数据列入 其中。

2012年12月，广东省启动了《广东省实施大数据战 略工作方案》；北京成立“中关村大数据产业联盟”此外, 中国科学院、复旦大学、北京航空航天大学等相继成立了近 十个从事数据科学研究的专门机构数据价值链和产业链初显端倪百度、阿里巴巴、大智 慧等数据资源型和研发应用型企业初步涌现，并引领着数据 产业的发展2020年4月，淘宝推出“数据魔方”应用，开 展基于淘宝网交易数据的分析和挖掘2012年，华为公司推 出了大数据解决方案和大数据存储产品数据产业园区建设逐步展开上海智慧岛数据产业园、 秦皇岛开发区数据产业基地、北京国家地理信息科技产业 园、中国国际电子商务中心重庆数据产业园等一批数据产业 园区，在有关各方的大力支持下正展开基础建设和招商工 作二）技术和市场发展趋势2•大数据的技术体系大数据出现颠覆了传统数据处理的一系列技术，如大数 据获取方式的改变导致数据规模迅速膨胀，相对于传统的数 据库系统，其索引、查询以及存储都面临着严峻的考验，而 且怎样快速地完成大数据的分析也是传统数据分析方法无 法解决的为此针对规模大、速度快、数据多样、价值密度 低的大数据大数据处理技术体系主要涉及大数据的采集技术、存储 技术、分析及挖掘技术、可视化呈现技术4个部分。

1) 大数据的采集：来自于不同领域的大数据，其特点、 数据量以及用户数目不同，按照结构特点，可划分为3种 类型：结构化数据、半结构化数据以及非结构化数据大数 据采集的挑战是并发数高、流式数据速度快2) 大数据的存储：改进的轻型数据库可用于完成大数 据的存储并响应用户的简单查询与处理请求；而当数据量超 过轻型据库的存储能力时，则需要借助于大型分布式数据库 或存储集群平台，且随着互联网技术和云计算技术的发展， 建立在分布式存储基础上的云存储已经成为大数据存储的 主要趋势大数据存储的主要挑战是数据异构、结构多样、 规模大3) 大数据的分析及挖掘：大数据的分析涉及简单的统 计分析以及分类汇总，其挑战在于导入数据量大，查询请求 多；而大数据挖掘涉及数据的分类、聚类、频繁项挖掘等， 其算法复杂，计算量大4) 大数据可视化：大数据的挖掘及分析结果将在显示终 端以友好、形象、易于理解的形式呈现以供专业人士分析结 果的准确性或为用户提供决策信息支持大数据呈现的挑战 在于数据维度高、呈现需求多样化大数据处理环节中各技 术功能的相互配合使用可为大数据价值的有效实现提供技术基础2•大数据的价值(1) 大数据能促进决策数据化指一切内容都通过量化的方法转化为数据，比方 一个人所在的位置、引擎的振动、桥梁的承重等，这就使得 我们可以发现许多以前无法做到的事情，这样就激发出了此 前数据未被挖掘的潜在价值。

数据的实时化需求正越来越突 出，网络连接带来数据实时交换，促使分析海量数据找出关 联性，支持判断，获得洞察力伴随人工智能和数据挖掘技 术的不断进步，大数据提高信息价值促成决策引导行动获得 利润驱动企业获得成功2) 大数据的市场价值大数据不仅仅拥有数据，更在于通过专业化处理产生重 大市场价值大数据在当代社会成为一种人人可以轻易拥 有、享受和运用的资产好的数据是业务部门的生命线和所 有管理决策的基础，深入了解客户带来的是对的竞争优势， 数据应该随时为决策提供依据数据的价值在于在即时把正 确的信息交付到恰当的人那些能够驾驭客户相关数据的公 司与公司自身的业务结合发现新竞争优势拥有大量数据的 公司进行数据交易得到收益，利用数据分析降低企业成本， 提高企业利润数据成为最大价值规模的交易商品大数据 体量大、种类多，通过数据共享处理非标准化数据可以获得 价值最大化大数据的提供、使用、监管将大数据变成大产 业3. 大数据的预测价值如今是一个大数据时代，85%的数据由传感器和自动设 备生成，采集与价值分离，全面记录即时系统，可以产生巨 大价值记录数据与利益并不直接相关，仅仅是对操作过程 的次序和具体内容采集，网络时代不同主体之间有效连接， 实时记录会提高每个主体对自己操作行为的负责程度。

随着 互联网经济与实体经济的融合，网络操作记录已经成为网络 经济发展的基本保证信息系统运行会出现差异，打破平衡, 适当的外部资源微调可以避免系统崩溃，确保系统良性运 行预测未来是目前大数据最突出的价值体现考察数据记 录发现其规律特征，从而优化系统以便预测未来的运行模式 实现价值无论企业还是国家都开始通过深入挖掘大数据， 了解系统运作，相互协调优化大数据连接相互个体，简化 交互过程，减少交易成本三）项目实施促进大数据发展当前，信息技术发展突飞猛进，信息技术创新层出不穷, 以“大数据”为主导的信息化浪潮正席卷全球，成为全球范 围内加速企业技术创新、推动政府职能转变、引领社会管理 变革的利器大数据既是一种海量的数据状态及其相应的数据处理 技术，也是一种新的思维方式，是一系列新理念、新方法、 新要素的集中体现它不仅是信息化的一种手段、一项设施, 而是已经成为信息化社会发展演进的重要目标之一，以及实 现发展目标的重要路径在大数据时代，数据就是财富，就 是资源，就是竞争力本项目紧抓国家西部大开发及“一带一路”战略实施机 遇、依靠十二师发展的地缘优势，面向十二师经济社会跨越 式发展的需求，以大数据应用作为产业发展的战略引领，坚 持“应用驱动、优势互补，政府引导、企业主体，资源共享、 确保安全”，通过改革、开放、创新，挖掘数据资源价值， 集聚大数据技术成果，形成大数据企业集群，全面提升大数 据产业发展支撑能力、大数据技术创新能力和大数据安全保 障能力，努力建成领先的大数据资源集聚地和大数据应用服 务示范基地，为十二师经济社会加速发展、加快转型、推动 跨越提供有力支撑。

实施以促进大数据以下创新：1.推进大数据在公共安全领域的应用创新针对公共安全领域治安防控、反恐维稳、情报研判、案 情侦破等实战需求，建设基于大数据的公共安全管理和应用 平台以科学发展观为指导，以利民为本，以科技为依托， 本着“实际、可靠、先进、安全、经济”的原则，按照“党 政领导、综治牵头、公安主导、部门协同、社会参与”的工 作思路，广泛调动各方积极性，有重点、分层次地建设覆盖 全辖区的视频监控网络，提升社会治安防控体系建设的科技 含量，增强维护社会稳定、打击分裂犯罪的能力，构建全方 位立体化社会治安防控体系，汇聚融合涉及公共。