企业数据治理解决方案

数据治理解决方数据治理解决方案案目 录010203042背景介绍数据治理解决方案问题与讨论数据治理案例介绍行行业现业现象和需象和需求求问题问题数数据据 质质量量数数据据 应应用用随着业务的不断发展和信息化的不断深入，需建设的业务系统越来越多，随着业务系统的数据种类不断丰富完善，数据量的不断增大，如果不采取有效手段解决问题，随着信息化建设的深入，下列的问题会越积越多。数据分散，难以管理没有一个稳定的，抗源变化的数据层缺少统一的应用标准重复投入数据不一致指标设计、口径不一致指标难以共享缺少统一的基础数据标准重复投入数据不一致、不准确难以利用和管理各系统数据难以共享部分关键业务数据缺失源系统校验关系缺失及业务人员随意操作数数据据架架构构目 录010203044背景介绍数据治理解决方案问题与讨论数据治理案例介绍数据管理范数据管理范围围数据治数据治理理战略组织和角色政策和标准项目和服务问题估值数据架构管数据架构管理理企业数据模型价值链分析相关的数据架构数据数据质质量管量管理理规范分析度量改进元数据管元数据管理理架构整合控制交付文档和内容管文档和内容管理理获取和储存备份和恢复内容管理检索保留数据开数据开发发分析数据建模数据库设计实施数据操作管数据操作管理理获取恢复调优保留清除数据安全管数据安全管理理标准分级管理授权审计参考数据和主数据管参考数据和主数据管理理外部规范内部规范客户数据产品数据维度管理数据中心和商数据中心和商务务智能管智能管理理架构事实培训和支持监控和调优数据管理框数据管理框架架技技术术支支撑撑领领域域机机制制从上至下指导，从下而上推进，形成一个多层次、多维度、多视角的全方位框架。战战略略数据发现与分类数据采集与清洗工具数据管理系统质量检查工具数据安全管理 数据建模数据模型数据安全主数据元数据数据存储数据分布数据交换数据集成数据质量数据服务组织制度流程角色目标规划总总体解决思体解决思路路重新重新组织组织数数据据重新组织数据，让数据变得 更好用。主数据建设真实世界模型数据仓库数据标签和画像盘盘点数据点数据资资产产让数据成为资产，了解企业有哪 些数据，在哪里，有多少量级。业务流程梳理数据流程梳理数据识别与分类让资产变让资产变得干得干净净，少歧，少歧义义通过数据ETL，建立数据标准化。数据采集与清洗数据标准化数据治理的延伸：数据管数据治理的延伸：数据管理理数据治理的结束是数据管理的开始。数据资产透视智能搜索和发现主数据管理数据治理持久数据治理持久化化对数据治理工作持久化，一 次治理，永久治理。数据治理工作日常化元数据和标准化治理维护更新新类型数据的自动化治理1、数据、数据资产盘资产盘点：暗数据点：暗数据发现发现和分和分类类在数据治理的实际操作中，只有先只有先发现发现数据，数据，对对数据数据进进行有效分行有效分类类，才能避免一刀切的控制方式，也才能对数据的安全管理采用更加精细的措施，使数据在共享使用和安全使用之间获得平衡。美创经过大量的案例实践，总结出了数据分级分类的方式：0402业务业务流程梳理流程梳理03业务业务流程分解流程分解梳理业务与业务之间的流程关系，业务流程本身的输入输出上下文情 况；补充每个业务流程涉及的属性；识别各业务环节涉及的人、事、物，输入、输出、组件和数据沉淀；输 出业务流程图；根据梳理好的业务流程图，转换成对应的数据流图；01业务业务系系统调统调研研调研业务系统情况：建设目标、系统类型划分；系统运行架构、硬件支撑情况；使用者、用户来源和规模；06数据分数据分级级分分类类根据行业标准和特点对于数据资产 进行分类；将数据资产划分为公开、内部、敏 感等不同的敏感等级；数据数据标标准梳理准梳理05业务业务关系梳理关系梳理梳理业务与业务之间的关系业务流程逻辑、业务交互数据；业务权限分配、输入输出控制；访问权限控制、操作流程规范；风险规范要求等；对于业务数据按照主体、参考、交易、统计进行分类，并梳理出数据的技术 标准和业务标准；补充和整理完整的数据字典；2、让让数据数据变变得更干得更干净净，少歧，少歧义义如何让数据变得干净可用？主要从三个方向入手：数据采集与清洗、数据采集与清洗、对对元数据元数据进进行管理、数据行管理、数据标标准化治理准化治理数据采集与清数据采集与清洗洗数据同步数据交换数据整合数据数据标标准化治准化治理理技术标准数据标准管理标准元数据管元数据管理理理解元数据需求开发和维护元数据标准标准化元数据评估指标创建和维护元数据整合元数据分发和交付元数据查询、报告和分析元数据2.1、数据采集与清洗达到的效、数据采集与清洗达到的效果果数据同步数据同步实现实时、准实时的数据采集；保证数据源与目标端的数据一致性；不影响 源业务系统；支持多种数据源的数据采集（如常用的关系型数据库、大数据 平台等）；数据交数据交换换不同部门的数据协同，获取到数据并完成业务逻辑；灵活地进行数据转换规 则设计；数据整合数据整合将不同来源的数据，经过清洗转换后变为统一格式，存储到数据中心或者数 据仓库，用于提供数据共享、数据分析等服务；支持界面话工作流调度数据源数据源ETL转换转换数据目的数据目的数据迁移：将数据数据迁移：将数据进进行行转转移移数据同步：保持两个同构或者异构数据同步：保持两个同构或者异构库库的数据的数据一一 致致增增强强抽取：抽取：对对于于发发生改生改变变的数据的数据进进行更行更新新列映射：数据列映射：数据类类型型转换转换、列名、列名变换变换、删删除列除列、增加增加列列数据数据库查库查找器：找器：过滤过滤所需数据，并且根据所需数据，并且根据规规 则进则进行数据的替行数据的替换换自定制自定制转换转换：调调用用java程序程序执执行特殊的数行特殊的数据据 处处理理数据数据质质量量检查检查：专业专业的数据的数据质质量分析、清洗量分析、清洗、验证验证和和监监督引督引擎擎2.1、数据清洗、数据清洗、转转换换2.2、元数据管、元数据管理理元数据是“关于数据的数据”。元数据标注、描述或者刻画其他数据，以使检索、解读或使用信息更容易。对数据上下 文背景、历史和起源进行完整的记录并管理，建立元数据标准，提升战略信息（如数据仓库、CRM等）的价值，帮助分析人 员作出更有效的决策。元数据管理方法如下：理解元数据需理解元数据需求求确认企业元数据管理环境、范 围、优先级、元数据内部标准、企业基于元数据的服务等；标标准化元数据准化元数据评评估指估指标标评估指标主要应采取定量指标，包括：元数据存储库的完整性、元数据的质量、元数据的使用/引用、元数据血缘分析/影响分析等；整合元数整合元数据据把来源库中抽取到的元数据，与相 关的业务元数据和技术元数据进行 整合，最终存储到元数据存储库中；查询报查询报告和分析元数告和分析元数据据指导如何使用数据资产，体现在商务智能（报表和分析）、商业决策（操作型、运营 型、战略型）以及业务语义方面使用。指导如何管理数据资产：具有前端应用程序，并支持查询和获取，满 足以上各类数据资产管理的需要；开开发发和和维护维护元数据元数据标标准准根据行业或共识标准，以及国际标准，再结合企业范围共识建立元数据标准；创创建和建和维护维护元数元数据据通过元数据创建和更新工具定期扫描 和更新存储库；采用审计流程验证各项操作活动并报 告异常；发发布元数布元数据据将元数据从存储库分发到最终用户和 其他需要使用元数据的应用或工具；2.3、数据、数据标标准化治准化治理理技技术标术标准准管理管理标标准准重点解决数据整合、交换接口标准业务数据库建设规范、数据整合规范平台接口规范、环境配置规范数据接入实施规范、编码规范等标准规范企业统一标准的数据规范标准对企业现有业务系统进行梳理按照数据标准规范的构成进行数据标准规范的制定 以此为依据进行规范化的升级、管理以及曰后的变更 维护主要包括数据元、数据元代码集和信息实体等建立实用、高效、统一的管理体系制定信息系统运行维护管理制度、安全保障制度、数据安全管理规范、数据共享交换管理规范等管 理规范。数据数据标标准准数据标准化治理旨在遵循国家及本地相关标准化规范的基础上，根据实际需要制订一套完整、统一 的标准规范体系，实现信息高度共享、系统运行高度协调的保障。标准规范包括技术标准、数据标准和管理制度三类：3、重新、重新组织组织数数据据主数据建主数据建设设真真实实世界模型世界模型数据数据仓库仓库数据数据标签标签和画像和画像建立企业数据资产统 一口径、统一标准从实际出发，用 数据描述业务资源整合、统一数 据，企业决策支持用户信息标签化，支 持多场景业务应用（如战略分析、产品 运营、用户服务等）重新组织数据包括：基础工作：主数据建设，真实世界模型；扩展内容：数据仓库，数据标签和画像；数据梳数据梳理理数据数据问题问题确确认认数据数据标标准定准定义义数据管理方数据管理方案案 管理流程确管理流程确认认业务业务系系统统接口改接口改造造识别主数据：结合目标数据所涉及到的 业务部门与业务系统，展 现数据标准梳理与对应。系统与数据问题：针对梳 理过程中出现的各种数据 问题与相关业务部门与业 务系统进行确认。主数据定义建模：针对数据问题反馈结果，完 成目标数据技术规则、业务 规则、CRUD标准定义以及 与业务部门的确认。主数据利用与管理：针对目标数据的管理方案 与管理流程完成与相关业 务部门的确认。主数据利用：针对目标数据的业务规则 和技术规则，与相关业务 部门和系统管理员确认，要求数据源改造。3.1、主数据建、主数据建设设建立主数据是一个庞大的工程，结合DAMA理论体系和具体实践经验，美创提出了以下主数 据建设中具体的操作流程，以及在这些流程中所需要完成的具体工作内容：3.2、真、真实实世界模世界模型型标的物和输入输出分析方法流程、组件和资源标准化平衡计分卡模型全面数字化运营，运营信息整合监管质量和合规性运营流程改善，提高服务360视图模型建立用户主数据，统一业务档案构建用户画像，精准化服务精益模型管理层驱动的问题发现改善精益团队驱动的流程改善员工自我驱动的工作改善真真实实世世界界 模模型型准准确确精精益益 模模型型360视视图图 模模型型平衡平衡计计分分卡卡 模模型型真真实实实实时时全全面面数据中心数据中心美创经过多年在数据领域的经验积累，创造性提出“真实世界模型”建模方法论，主张从数据的角度从数据的角度 反映真反映真实业务实业务的本来面目的本来面目，建立规范的建模体系；真实世界模型按照业务本来面目去组织、集成和交换数据黑盒子分析方法3.3、数据、数据仓仓库库数据仓库架构图：Data Profiling 数据画像字段画像关联字段画像DB表画像DB关联表画像值域分析基数分析类型检测数据分布波动监测异常值监测功能相关性分析主键唯一性分析表基础分析外键分析 血 缘 分 析3.4、数据、数据标签标签和画和画像像4、数据治理持久、数据治理持久化化有必要对数据治理工作持久化，一次治理，永久治理。一次治理，永久治理。元数据和元数据和标标准化治理准化治理维护维护更更新新不断的更新元数据和标准化治理以反映 当前的诉求。新型数据的自新型数据的自动动化治化治理理超过原先治理范围的数据，需要经历暗数据发现 和分类，数据质量清洗和重新组织数据的全过程；在生产过程中，实时识别这部分数据，将其引入 数据治理流程，使新类型在产生的初始环节就是 可识别，高质量，可理解和可利用的。数据治理工作成果日常数据治理工作成果日常化化把数据治理工作利用自动化引擎实 时或者准实时自动化运行。5、数据治理的延伸：数据管、数据治理的延伸：数据管理理数据治理的数据治理的结结束是数据管理的开始！束是数据管理的开始！数据数据资产资产透透视视反映数据资产状况，有哪些数据、数据在哪、数据量级、数据业务逻 辑关系等；智能搜索和智能搜索和发发现现款速检索企业数据、内容语义理解、用户兴趣识别，智能信息化过滤和 推荐等；主数据管主数据管理理主数据集中管理，一体化的主数据 提取、审查、发布机制，数据质量 控制；数据模型管数据模型管理理规范定义、模型架构设计、数据组 织和存储方法、数据模型生命周期 管理；数