数据中台标准方案（最全）.pdf

数据中台标准技术方案2021年 1月 9日数据中台标准方案目录1数据中台概述 .61.1数据中台介绍.61.2数据中台的价值.71.3数据中台设计原则.81.3.1数据的一致性与标准性 .81-3.2数据的实用性与服务性.81.3.3数据的独立性与可扩展性 .81-3.4数据安全性.81.3.5数据分级管理机制 .91-4数据中台设计方法.91.4.1基于面向服务的架构方法（SOA） .91.4.2业务系统规划法（BSP） .91.4.3 系统工程理论.112数据中台核心功能 .122.1技术架构.122.1.1层次架构 .13第2 2页共9393页数据中台标准方案2.1.2逻辑架构 .142.1.3数据架构 . 152.2数据统一采集接入平台. 162.2.1平台架构 . 162.2.2数据流程 . 172.2.3平台功能 . 172.3数据集中处理平台. 292.3.1平台架构 . 292.3.2数据流程 . 302.3.3平台功能 . 302.4数据组织管理平台. 482.4.1平台架构 . 482.4.2数据流程 . 492.4.3平台功能 . 502.5数据全域治理平台. 562.5.1平台架构 . 562.5.2数据流程 . 57第3 3页共9393页数据中台标准方案2.5.3平台功能 . 572.6数据质量管理平台. 622.6.1数据标准管理 . 622.6.2数据生命周期管理 . 632.6.3数据质量管理 . 652.6.4数据运维管理 . 652.7数据共享服务平台. 662.7.1平台架构 . 662.7.2数据流程 . 672.7.3平台功能 . 672.8数据可视化平台. 762.8.1平台架构 . 762.8.2数据流程 . 772.8.3平台功能 . 773主要关键技术 .853.1内存级数据交换共享. 853.2 一站式数据集成和数据管理.86第4 4页共9393页数据中台标准方案3.3数据分析模型. 873.4数据治理技术. 873.5数据挖掘技术. 893.6可视化建模技术 . 903.7 NLP语义分析技术 .3.8知识图谱技术 .3.9数据交换共享技术指标 .3.10应用系统技术指标 .3.11数据加工分析技术指标 .第5 5页共9393页9192939393数据中台标准方案1 1数据中台概述1.11.1数据中台介绍因为在当今互联网时代，用户才是商业战场的中心，为了快速响应用户的需求，借助平台化的力量可以事半功倍。

然而第一之前在传 统企业信息化建设中企业为了满足单一业务场景需求而搭建的传统技术架构，其底层技术选型大都无法支撑现有大数据应用场景由此 形成的技术壁垒，往往使得企业转型成本激增甚至无法实现转型；第 二在企业不断发展的过程中伴随着业务的多元化发展，企业信息部门 单独建设或重建全新业务系统，逐渐形成了一个个相互独立的数据中 心，从而导致大量系统、功能和应用的重复建设，更造成了计算存储 资源和人力资源的浪费；第三企业由于业务发展带来的组织壁垒而形 成的数据孤岛，是数据壁垒最典型的场景它使得企业数据难以被全 局规划和定义，从而导致数据价值无法被充分挖掘传统信息化建设 往往以满足业务流程结果做为唯一标准，忽视了过程数据和关联数 据传统的数据平台和其所谓的三层技术架构：前端展示层、中间逻 辑层、后端数据层，己经无法完善的解决上述三个问题并实现以用户 为中心的业务提升的当前企业数据的爆炸式增长以及价值的扩大化，数据将对企业未来的发展产生深远的影响，数据将成为企业的核心资产数据中台是 指通过数据技术，对海量数据进行采集、计算、存储、加工，同时统 一标准和口径数据中台把数据统一之后，会形成标准数据，再进行存储，形成 大第6 6页共9393页数据中台标准方案数据资产层，进而为客户提供高效服务。

这些服务跟企业的业务有 较强的关联性 ， 是这个企业独有的且能复用的 ， 它是企业业务和数据 的沉淀 ，其不仅能降低重复建设、减少烟囱式协作的成本，也是差异 化竞争优势所在1.21.2数据中台的价值中台从公司战略角度，将这些行为进行了规范化，公共的部分交 给公共系统部门去做中台实际上是通用业务的下沉，企业在一个行业耕耘多年之后，一般都会形成一些公用的业务，而这些业务是可以像中间件那样进行下沉共享的政府企业机构等对内对外有了统一的业务系统、管理平台等等，就不会再有各种业务系统孤岛，不会有数据打通问题，不会有跨部门的数据墙有了统一的中台，也就有了统一的数据规范对于大数据相关的需求，可以从相对唯一的数据岀口进行业务迭 代，不需要为每一个部门进行定制开发，浪费人力第7 7页共9393页数据中台标准方案1-31-3数据中台设计原则1.3.11.3.1数据的一致性与标准性除遵循数据库设计的软件行业标准外，还要遵循国家、地方标准及行业的习惯性事实标准此外，数据中台的建设中将充分考虑客户己建系统的数据，确保与客户现有数据的一致性和标准性1.3.21.3.2数据的实用性与服务性数据中台设计充分考虑实际情况和应用特点，遵循“服务性与实用性并重”的原则，通过数据整合与治理，数据高度可共享、和可根 据实际需求不断灵活组合，为业务应用服务，数据质量高，保证数据 的实用性。

1.3.31.3.3数据的独立性与可扩展性设计时需要做到数据中台的数据具有独立性，独立于应用程序，使数据中心的设计及结构的变化不影响程序，反之亦然另外，数据 库设计要考虑其扩展性能，使得系统增加新应用或新需求时，不至于 引起整个数据中心结构的大变动1.3.41.3.4数据安全性通过设计合理和有效的备份和恢复策略，确保数据中心遭遇突发事故时，能在最短的时间内恢复同时，通过做好对数据中台的访问 授权设计，保证数据不被非法访问第8 8页共9393页数据中台标准方案1.3.51.3.5数据分级管理机制根据用户访问数据中台的角色，将用户分成决策分析用户、系统管理用户、运行浏览用户和运行调度用户等几个角色，分别赋予角色 访问数据的权限和使用系统功能的权限，严格控制角色登录，实现数 据的分级管理1.41.4数据中台设计方法1.4.11.4.1基于面向服务的架构方法( (SOA)SOA)基于面向服务的架构方法 (Service-Oriented Architecture, SOA) 采用基于面向服务的架构方法，构建智慧城市运营中心的业务流程和IT 架构SOA(面向服务的体系结构)将政府中各个系统应用程序 的不同功能单元抽象为服务，通过这些服务之间定义良好的接口和契 约联系起来。

接口是采用中立的方式进行定义的，它独立于实现服务 的硬件平台、操作系统和编程语言这使得构建在各种各样的系统中 的服务能够通过统一和通用的方式进行交互SOA 架构由服务总线、 服务目录、门户、流程管理等几个核心组件构成的这些核心组件协 同工作共同支撑服务的部署、运行与管理监控1-4.21-4.2业务系统规划法(BSP)(BSP)业务系统规划法(BusinessSystemPlanning, BSP)的关键思想是将业务的长期战略目标转化为信息系统的战略目标，通过对业务战略 的分析导出信息系统的规划第9 9页共9393页数据中台标准方案业务系统规划法（BSP）采用的基本方法是“白顶而下”的识别 业务目标、企业过程和数据“自下而上”地分布设计系统，这样可以 解决大型系统难以一次性设计完成的困难，也可以避免自下而上分散 设计可能出现的数据不一致业务过程数摒处理数据産业务系统规划法（BSP）的规划步骤：（1）准备工作；（2）调研；（3）定义业务过程；（4）业务过程重组；（5）定义数据类；（6）定义信息系统总体结构；（7）确定总体结构中的优先顺序；完成 BSP研究报告，提出建议书和开发计划第1010页共9393系焼功能信息结构系饨目标数据中台标准方案1.4.31.4.3系统工程理论系统工程方法将相关问题及情况分门别类，确定边界，侧重各门类之间内在联系，确保处理方法的完整性，采用全面和运动的观点、 方法分析主要问题及整个过程。

其具有综合性、科学性、实践性的特 点利用系统工程理论指导软件开发和维护，主要使用工程化概念、 原理、技术及方法开展软件开发、维护的工作采用系统工程方法是 用系统的原理、方法研究系统的对象，立足整体系统，制作岀科学的 工作计划及流程，有效的完成任务系统工程方法依从系统全局观点，从系统与要素、系统与环境之间相互联系、相互作用出发研究相关对象，实现最佳处理问题的目标 其基木内容有：全面调查研究有关资料和数据，提取有效信息，系统 了解相关问题信息，进一步确定完成任务所需条件：提出相关方案， 展开定性和定量的理论分析，进而进行实验研究，客观评价系统技术 性能、经济指标，注重社会效果，为最终方案在理论和实践上做铺垫; 经由系统分析与综合，比较和鉴别出最优系统设计方案进行实施；依 据系统设计方案，指定有效计划，将开发研究岀的系统投入使用，并 对系统的性能、工作状态及社会反应做岀相关评价和检验系统工程 方法在计算机软件方面应用广泛，同时起着重要作用结合系统工程 方法的特点，在计算机软件设计阶段可规范其流程，促使计算机软件 设计进程加快，同时提高开发人员的工作效率，为软件系统研发速度 的提高打下基础第1111页共9393数据中台标准方案2数据中台核心功能2-12-1技术架构目前各政府机构和企业的信息化平台数据按结构类型主要分为三种，分别是：结构化数据、非结构化数据、半结构化数据三大类； 结构化数据存储在关系型数据库中；非结构化数据主要包括音视频、 图片、文档等，通过分布式文件系统在数据库进行统一管理；半结构 化数据是结构化数据的一种形式，但它并不符合关系型数据库或其他 数据表的形式关联起来的数据模型结构，但包含相关标记，用来分隔 语义元素以及对记录和字段进行分层，例如：日志文件、XML文档、 JSON文档、Email等。

建设数据中台的过程中，这三类数据都会做 为数据源出现，因此数据中台要能够妥善的处理这三种类型的数据数字中台基于数据资源多样性的特点和能够高效支持业务的目 标，第1212页共9393数据中台标准方案结合设计规划方法论、原则和规划思路，统一数据资源体系规划 建设大数据采集感知体系、数据资源融合体系和信息共享服务体系， 将数据安全和数据标准融入三大体系之中，通过智能演进不断提升数 据接入、处理、组织、挖掘、治理和服务的能力，不断丰富和完善数 据中台数据中台主要包函：数据统一采集接入平台、数据集中处理平台、数据组织管理平台、数据组织管理平台、数据全域治理平台、数据融 合共享平台、数据分析挖掘平台、知识图谱平台、统一管理平台、数 据可视化平台等多个平台系统2.1.12.1.1层次架构基于数据资源的需求分析和愿景目标，结合设计规划方法论、原则和规划思路，统一数据资源体系规划建设大数据采集感知体系、数 据资源融合体系和信息共享服务体系，将数据安全和数据标准融入三 大体系之中，通过智能演进不断提升数据接入、处理、组织、挖掘、 治理和服务的能力，不断丰富和完善数据中台数据资源总体架构图 如下所示：第1313页共9393数据中台标准方案统一管理略统一管理II权限统FS I I权限统一管理|权限统一管理|数据处理做故E典 | aa| aa後sms |sms |専里训腕數8 8 I I务I II I对评伽1 1系 |敬蚯携*叩数据关MBMB比H1H1设ttfiwe ttfiwe FiaFiaI I语 义 分析|数据服务et et战，丹毎蛛| |iflgIKiflgIK労顿1 gggSff1 gggSff另I I坤理矽|I I图瞄幵E IE II eI eojojM68iw IM68iw I2.1.22.1.2逻辑架构统一数据资源体系的规划建设是数据建设的核心，承载着高效使 用底层平台能力进行海量数据的动态感知采集和接入、标准化和智能 化处理、精细化组织、全维度融合、精准可控的共享服务、多手段集成安全等关键责任和重任。

为实现上述目标，统一。