数据中台分享课件.pptx

数据中台数据中台演讲人2025-11-1101.02.03.04.目录中台建设基础概念中台能力数据资产管理中台建设中台建设01Part One中台建设建设步骤建设内容企业数据应用能力成熟度建设落地方案中台建设建设步骤理现状01立架构02建资产03用数据04做运营05理现状组织现状、业务现状、数据现状、技术现状立架构组织架构、业务架构、技术架构、应用架构、数据架构建资产数据集成、数据萃取、数据标准、数据质量数据安全、场景服务用数据做运营监控审计、价值评估、质量评估、资产排名建设内容u技术体系、数据体系、服务体系、运营体系中台建设中台建设企业数据应用能力成熟度1、统计分析013、数据驱动032、决策支持024、运营优化04统计报表、定制导数、周月报等1、统计分析2、决策支持业务主题的指标体系等3、数据驱动风控、千人千面、精准营销、算法挖掘等数据资产运营部门，统一数据资产、数据治理、数据服务化、服务业务等4、运营优化中台建设建设落地方案数据汇聚方案01数据开发方案02数仓建设方案03ETL (Extract-Transform-Load，抽取-转换-存储)开源产品 Canal、Sqoop、DataX采集模块交换核心模块写入模块数据同步分为表全量同步和库全量同步全量同步分为新增、覆盖和更新三种策略增量同步数据订阅服务数据消费服务实时同步数据存储存储设备离线存储设备OLTP和OLAP存储技术存储设备u磁盘、磁盘阵列、云存储等数据存储数据存储离线存储设备硬盘、磁带、光盘等OLTP和OLAPuOLTP 联机事务处理uOLAP 联机分析处理数据存储数据存储存储技术分布式系统NoSQL数据库云数据库数据开发产品能力离线开发01实时开发02算法开发03数据开发产品能力离线开发离线数据的加工、发布、运维管理以及数据分析、数据探索、查询和即席分析相关工作作业调度基线控制方法数据权限实时开发u涉及数据的实时接入和实时处理u元数据注册中心u组件化开发数据开发产品能力数据开发产品能力算法开发提供可视化拖拽方式和Notebook方式实现数据价值的挖掘建模方式算法开发套件应用场景数据计算能力类型海量数据，批量计算批计算实时数据，毫秒级RT流计算毫秒级RT，高QPS查询秒级RT，内存计算即席分析01020304数仓体系特征覆盖全域数据01性能提升04结构层次清晰02更低成本05数据准确一致03方便易用06覆盖全域数据u覆盖所有业务过程数据数仓体系特征结构层次清晰u纵向的数据分层u横向主题域、业务过程划分数仓体系特征数据准确一致数仓体系特征u统一一致性指标、统一命名、统一业务含义、统一计算口径性能提升数仓体系特征u统一规划设计、合理数据模型、统一定义规范、考虑使用场景更低成本u数据可以共享，避免烟囱式的重复建设数仓体系特征方便易用u后台复杂，数据使用方便数仓体系特征应用数据层 ADS标签数据层 TDM统一数仓层 DW贴源数据层 ODS数仓层次架构数仓层次架构应用数据层 ADS面向业务场景例如：客户画像属性表、客群洞察信息表数仓层次架构标签数据层 TDM全域标签体系面向对象建模例如：商品标签表、客户基础标签表、客户行为标签表统一数仓层 DWu分为 明细数据层DWD 、汇总数据层DWSu原始数据从业务完整性的角度重新组织数据，数据域u指标u数据域u数仓层设计步骤u例如：客户数据域、交易数据域、商品数据域数仓层次架构数仓层次架构贴源数据层 ODS原始数据，简单处理基础概念基础概念02Part One基础概念概念定义和业务中台的对比和数据仓库的对比基础概念概念定义01机制02定义03业务与数据闭环概念定义通过这套机制融合新老模式，整合分散在各个孤岛上的数据，快速形成数据服务能力，为企业经营决策、精细化运营提供支撑，这套机制就是数据中台机制数据中台是一套可持续“让企业的数据用起来”的机制，是一种战略选择和组织形式，是依据企业特有的业务模式和组织架构，通过有形的产品和实施方法论支撑，构建的一套持续不断把数据变成资产并服务于业务的机制定义业务数据化、数据资产化、资产服务化、服务业务化业务与数据闭环基础概念和业务中台的对比区别联系数据中台是抽象数据能力的共性形成通用数据服务能力。

B业务中台更偏向业务流程管控，抽象业务流程的共性形成通用业务服务能力A和业务中台的对比区别联系数据应用闭环业务中台的沉淀的业务数据进入到数据中台进行体系化的加工数据中台以服务化的方式支撑业务中台的应用形成循环不息的数据闭环从数据层面看业务中台只是数据中台的数据源之一，其它来源如app、小程序、LoT等多源数据从服务层面看数据中台的数据服务也不一定经过业务中台作用于业务，它可以直接被上层应用系统进行封装，如电商领域的“千人千面”系统基础概念和数据仓库的对比区别联系区别 数据仓库主要支持管理决策和业务分析数据中台主要是将数据服务化后提供给业务系统联系 数据中台包含数据仓库的完整内容，把数据仓库当做数据源和数据仓库的对比中台能力中台能力03Part One13243、服务可视化 4、价值变现 1、汇聚整合 2、提纯加工数据经过提纯加工才能使用，这个过程就是数据资产化核心能力1324即席计算(实时计算)决策类业务，实时查询等，如圈人、ad-hoc需求计算高并发场景，用户画像等，如Redis离线计算批量离线计算，如Hadoop实时计算实时流式计算，如Flink计算能力数据资产管理数据资产管理04Part One4个目标处于数据中台的位置资产管理的8个核心领域数据资产管理职能数据资产管理数据资产管理4个目标可见可运营可用可懂资产全面盘点形成数据资产地图可见将数据资产标签化，标签是面向业务视角的数据组织方式2通过元数据管理，完善对数据资产的描述1可懂统一数据标准，提升数据质量和数据安全性，提升数据的可信度可用建立符合数据驱动的组织管理制度流程和价值评估体系，提升数据资产的价值可运营处于数据中台的位置u数据开发->数据资产管理->数据应用数据资产管理数据资产管理资产管理的8个核心领域数据战略数据治理数据架构数据标准数据质量数据安全数据资产管理资产管理的8个核心领域数据应用01数据生命周期02数据治理以元数据为核心的分布式数据治理数据治理6个目标提升数据质量良好响应数据需求实现可重复的数据管理流程统一数据标准培训组织内，统一数据问题解决的方法实现数据的可持续运营、数据资产的增值132456变更原则持续改进原则数据的认责与问责 平衡原则数据可商用是平衡原则的重要参考标准化原则 透明原则 6个原则数据生命周期不可恢复的数据 原始数据可恢复的数据 中间过程或结果数据数据资产管理数据资产管理职能数据标准管理数据模型管理元数据管理主数据管理数据质量管理数据安全管理数据资产管理数据资产管理职能数据价值管理数据共享管理数据标准管理数据标准是对数据的表达、格式及定义的一致约定，包含数据业务属性、技术属性和管理属性的统一定义数据标准分类01是被批准、管理的业务概念定义的描述业务术语标准02参考数据是枚举值主数据是核心业务实体数据参 考 数 据 和 主 数 据标 准03数据元是用一组属性描述其定义、标识、表示和允许值的数据单元，是描述数据的最基本单元数据元标准04经营分析过程中衡量某一个目标或事物的数据指标数据标准数据模型管理管理内容 数据模型的设计数据模型和数据标准词典的同步数据模型审核发布数据模型差异对比版本管理数据模型从抽象层次上描述了数据的静态特征、动态行为和约束条件元数据管理元数据是描述数据的数据元数据管理管理的核心在于数据地图元数据管理描述元数据的数据叫元模型业务指标、业务代码、业务术语等业务元数据02库表结构、字段约束、数据模型、程序、SQL等技术元数据01数据所有者、数据质量定责、数据安全等级等管理元数据03元数据类型元数据的应用01血缘分析指向数据的上游来源数据血缘分析02影响性分析指向数据的下游数据影响性分析03对数据表的被使用情况进行统计，从访问频次和业务需求角度出发，用图表展现表的重要性指数数据冷热度分析数据质量的评估标准和管理流程质量评估的标准数据质量管理数据质量管理质量评估的标准准确性01完整性02一致性03有效性04唯一性05及时性06数据质量管理质量评估的标准ABC稳定性连续性合理性数据安全管理对数据设定安全等级，保证数据被合法合规、安全地采集、传输、存储和使用数据价值管理度量维度数据成本01数据应用价值02API输出API服务监控 服务链路分析影响度分析异常监控警告API服务管控 API接口鉴权认证流量控制访问次数控制感谢聆听感谢聆听2020。