数据中台的通用体系架构方案
11页1、数据中台的通用体系架构方案从数据中台的建设、运营角度出发,对数据中台在企业数据应用中的作用进行了分析,把数据中台定位为多个数据应用的共享数据平台。从数据应用及数据治理两个维度分析了数据中台的建设要素,提出了模块化、解耦的数据中台体系架构。数据中台体系架构包含数据存储框架、数据采集框架、数据处理框架。数据治理框架、数据安全框架及数据运营模块,可按照企业应用需求进行组合,能够对单个模块进行扩充,能满足大多数企业数据中台建设的需求。内容目录:0引言1数据中台系统定位2数据中台通用体系架构2.1数据存储框架2.2数据采集框架2.3数据处理框架2.4数据治理框架2.5数据安全框架2.6数据运营框架3结语0、引言进入信息时代,随着数据产业的蓬勃发展,数字化建设如火如茶。“数字中国”“互联网+”等国家战略项目已在资源、可持续发展、环境、行政办公等领域取得了良好的效果。数据是资产、资源,但如何把数据资产、数据资源转化为社会收益和企业利润,还需要多方探索。当前,机构和企业不再建设从源数据采集到分析应用的烟囱式系统,更倾向于数据集中采集、存储,并应用分层建设。这种方式一方面有利于应用系统的快速部署,另一方
2、面也保证了数据的集中管理与运营,体现数据的资产、资源属性。数据中台的出现补充了数据开发和应用开发之间因为开发速度不匹配而出现的响应力不足等缺陷问题。数据中台是国内学者提出的概念,起始于阿里的“大中台、小前台”概念。阿里的中台是从管理的角度出发,以中台事业部集中数据搜索,技术及产品,数据共享等多个部门的功能。其他组织或企业建设数据中台不一定需要成立中台事业部,但是数据集中治理与提升数据价值转换效率的思路是一致的。有学者提出了一种基于数据中台的数据治理系统,他认为数据中台是一种大数据架构,用来完成数据治理。也有学者认为数据中台并非指大数据平台,数据中台完成数据治理后会形成标准数据,再对数据进行存储,进而形成大数据资产,能够为用户提供高效的优质服务。数据中台的作用已经在生产实践中得到普遍认可。阿里的线上商城离不开数据中台,运营商的项目投资建设、销售品管理及用户管理离不开数据中台,家谱管理也用到了数据中台,但迄今为止没有一个通用的数据中台体系架构能指导各行业的数据中台建设。本文从数据中台建设、管理、维护的角度出发分析数据中台的核心要素,梳理出一个通用的数据中台体系架构,提高数据共享能力,减少各
3、子系统的功能耦合度,增加功能复用率,减少软件功能的重复开发与投资。1、数据中台系统定位数据中台(DataCentral-Platform)能够用来进行数据治理,利用数据中台实现业务数据的流转,数据流向的梳理,数据质量的清洗,数据提供的能力。根据数据治理协会(theDataGovernanceInstitute,DGI)的定义,数据治理指的是对数据相关事宜的决策制定与权力控制。数据治理的目标是提高数据的质量(准确性、及时性、完整性、唯一性、一致性、有效性),确保数据的安全性(保密性、完整性及可用性),实现数据资源在各组织机构部门的共享,推进数据资源的整合、服务和共享,从而提升企事业单位信息化水平,充分发挥数据资产作用。技术上,数据中台是一种大数据架构,用来完成数据治理,进而支撑线上应用系统建设,挖掘数据隐含价值。本文认为数据中台是一个物理存在的系统,是企业或机构需要建设的位于数据源与数据应用系统之间的一个中间平台。数据中台链接数据后台和数据前后,将无质量的后台数据汇集在一起,形成大数据,通过数据治理,梳理出有效的数据。数据中台是数据三层结构中的中间层,主要功能是负责数据汇集,数据治理和提
4、供数据能力三方面,为应用服务提供个性化数据服务。这里的数据中台并非指大数据平台,而是指通过数据技术对海量的数据进行采集、计算、存储和加工,并统一标准和口径。数据中台完成数据统一后会形成标准数据,然后再对数据进行存储,进而形成大数据资产层,为用户提供高效的优质服务。数据中台是众多数据应用系统中可集中建设与维护的一个共享数据平台,它是数据生产系统中的一环。数据中台一定具有大数据平台的功能,但大数据平台不需要具备数据中台的功能。数据治理是数据中台及大数据平台不可或缺的核心功能,数据中台需要专门的数据治理子系统。以通信运营商为例,其数据中台定位如下图所示。数据应用系统经营分析系统 验证系统 产品销售数据中台数据治理系统数据源上网日志大数据平台信令监测办公系统图1数据中台的系统定位2、数据中台通用体系架构数据需求千人千面,企业数据应用不断更新迭代,企业的中台系统也需要不断变化,因而,有些学者认为无法创建统一、规范的数据中台模板供其他企业借鉴与使用,企业需根据自身业务的需要,构建适合于本企业发展的数据中台。但是从数字系统的核心任务分析,数据中台一方面对大量上层数据应用系统公共数据处理的部分功能集中
《数据中台的通用体系架构方案》由会员cl****1分享,可在线阅读,更多相关《数据中台的通用体系架构方案》请在金锄头文库上搜索。
姚安县家用医疗器械项目可行性报告_模板参考
大连理工大学21春《热质交换与设备》离线作业1辅导答案73
2023五一劳动节策划书.doc
村干部素质发展与工作情况总结
某电线电缆企业未来发展与规划
社会团体财务的管理制度范本
公估人考试大纲
分数的相关概念
《大海中的灯塔》的教学设计方案
2022年学校后勤工作方案
施工单位资质与安全生产许可报审表
东北财经大学22春《金融学》概论综合作业二答案参考72
某高层建筑监理规划
高二历史下学期期中试题22
债务人财产状况报告
电动汽车充电桩建设项目节能节水措施
2021-2022年三年级语文第二学期期末复习题
小学英语时态专项训练
叉车使用单位安全管理制度8月版
正规版离婚协议书(3)
2023-01-26 4页
2023-02-10 4页
2023-03-07 2页
2022-12-16 2页
2024-01-23 2页
2023-07-06 2页
2023-04-02 30页
2023-12-12 2页
2023-06-01 2页
2022-08-05 9页