数据治理解决方案(适用银行金融业）-V1.9

数据治理解决方案（银行金融行业适用）有效的数据治理建设方法行业数据治理案例分享数据治理产品介绍目录如何实现有效的数据治理？数据治理要素3平台实施组织架构制度流程平台功能基于数据治理平台的实施包括数据治理的相关数据范围确定、梳理，以及数据的初始化及持续更新从事数据管理决策、规划、实施、管理、监控的团队的工作团队人员及组织结构数据治理过程中必须遵守的相关政策与规章制度，以及从事数据治理规划、实施、管理、监控的团队之间协同工作、报告、评估流程为顺利从事数据治理工作而必须准备的支持环境、包括软硬件环境、系统环境、数据字典、元数据等如何实现有效的数据治理？数据治理建设思路4组织架构平台功能平台实施制度流程组织架构5数据治理小组部门N部门1系统X数据所有者系统Y数据所有者系统A数据所有者系统B数据所有者元数据管理员数据质量管理员数据经理1数据经理2数据经理M数据保管者1数据保管者2数据保管者M高层领导办公会委员会主任业务主管技术主管工作组数据治理管理委员会系统开发系统运维1233345数据标准管理员数据治理建设思路6组织架构平台功能平台实施制度流程数据管理（管控）思路：基于数标的全流程数据管理7数据质量流程8元数据管理流程9数据治理建设思路10组织架构平台功能平台实施制度流程11应用功能元数据管理接口二次开发权限集成数据访问分析服务元数据应用数据质量管理数据标准管理数据治理流程管理辅助业务应用元数据管理功能元数据技术功能元数据分析功能检核规则管理检核方法管理数据质量应用数据标准应用系统管理角色管理在线用户密码管理权限管理用户管理日志管理参数管理配置管理辅助开发运维数据质量监控数据质量分析数据标准分析元模型管理检核任务管理质量问题管理标准体系浏览数据标准管理数据标准文档管理标准综合查询数据治理统一架构逻辑架构知识库管理信息管理数据治理数据标准流程系统元数据1.提供检核对象1.提供数据标准信息访问数据标准存储到元数据1.标准相关的指标检核结果数据质量数据质量流程报表需求流程数据模型流程元数据流程数据交换流程数据标准流程采集基准库、对象库反馈检核结果1.质量检核结果作为质量问题2.质量提升工作结果1.提出度量规则和检核方法2.数据质量问题存储3.数据质量需求1.提供数据标准定义2.数据标准变更数据标准执行情况报表需求存储1.报表需求访问2.报表使用情况影响分析1.模型采集2.度量规则修改影响分析元数据采集2.提供标准代码2.系统代码与标准代码匹配情况3.数据标准执行情况2.度量规则、检核指标存储到元数据数据治理统一架构各模块关系数据治理建设思路13组织架构平台功能平台实施制度流程平台实施示例元数据实施范围CWM元模型物理模型ETL元数据PowercenterETL元数据shell日志Cognos元数据业务术语业务指标维度度量系统信息 表记录数报表访问数过程元数据技术元数据业务元数据数据源分析、报表工具数据挖掘工具EDWDM元数据元数据数据流元数据管理范围平台实施示例数据质量检检核核实实施施数据仓库平台数据质量系统平台内交互线平台内交互线平台外交互线平台外交互线公共检核组件生成检核脚本征集度量规则收集检核方法内容生成检核任务制定度量规则模板检核方法审核检核需求提出检核类别确定制定检核方法模板根据模板填写检核方法内容生成检核结果度量规则和检核方法建立映射关系执行检核组件依赖其他作业检核任务调度作业触发检核结果问题汇总检核结果分析数据质量多角度分析报告审核不通过，反馈，修改将收集的检核模板文件导入质量系统仓库内数据治理仓库外源数据协调治理问题数据治理流程启动问题处理流程问题数据分析问题知识库检核结果问题总结ETL Server123546789101113141516171819202122质量系统调度作业仓库依赖作业根据模板填写度量规则内容12数据的检核过程16有效的数据治理建设方法行业数据治理案例分享数据治理产品介绍目录数据管理领域合作客户案例1：国家开发银行数据管控定位金融行业数据治理背景人行/金标委于2009年7月启动银行业标准化体系框架研究工作，2010年金标委发布关于启动今明两年相关标准编制准备工作的通知，加快了行业标准建设的步伐；人民银行在2010年先后下发了金融业机构信息管理规定、贷款统计分类及编码标准（试行）、存款统计分类及编码标准（试行）等多项标准；2011年人民银行牵头组建了有24家银行组成的金融统计标准化工作小组，加大了数据标准化的工作力度。人民银行对数据标准化工作的要求2011年1月31日发布中国银行业“十二五”信息科技发展规划指导意见，其中第一部分第三章第五节，明确提出“建立数据治理机制，积极推进数据标准化和数据质量建设”；作为推进“数据质量年”活动的重要举措，2011年3月发布的银行监管统计数据质量管理良好标准中指出数据质量管理良好标准的总体框架包含5个要素，其中第3个要素为“系统保障和数据标准”，原则9中明确提出“银行应建立完备的业务规范和技术标准，并在相关业务制度及系统建设中统一遵循”。银监会对数据标准化工作的要求明确数据管控工作的主要参与者及职责划分，制定数据管控的办法及详细操作流程数据治理工作的目标将数据管控与业务流程结合，通过业务操作过程中对数据完整性、准确性的要求来提升业务的规范性实施数据管控相应的技术实施方案，通过数据管理系统等实现对数据管控的支撑123数据管控的主要对象是全行的数据，通过设计全行的数据管控组织、制度和流程，以及相应的技术方案和数据管理系统，实现对数据的有效管理，提升全行的数据质量。设计全行数据管控的组织，包括全行数据管控组织的层次划分、参与方及主要职责设计全行数据管控（数据标准、数据质量、元数据）的策略、管理办法和操作流程，提交行领导审阅并做好正式发文准备设计全行数据质量提升的整体工作方案基本完成全行数据管理系统建设，支持数据管控体系的运行推动数据管控体系在全行的实施，完成数据管理系统的建设和应用逐步完成全行主要系统的数据质量提升工作逐步实现数据管控工作与业务流程的结合，实现对具体业务流程的控制持续完善数据管控体系和数据管理系统将数据管控工作与全行的业务流程紧密结合，确保对各业务控制环节的有效支持201220092013+案例1：国家开发银行数据管控整体情况案例1：国家开发银行数据管理建设思路以数据服务流程管理为载体，元数据管理、数据质量管理、数据标准管理、数据调度监控管理为手段，建立“一个流程，两个维度”的框架体系。结合开行数据管理办法梳理数据服务流程间流转关系，从而实现在管理维度提供系统支持。在技术维度上划分为元数据管理、数据质量管理、数据标准管理、数据调度监控管理和数据服务流程管理模块。数据标准管理从数据定义阶段入手贯穿于整个数据生命周期。数据生命周期管理流程数据标准管理流程元数据管理流程数据质量管理流程管理维度数据管理制度与流程体系(包括数据管理组织、制度、流程，覆盖数据标准、管控、数据应用支持及数据应用)技术维度数据标准发布数据标准制定管理数据标准变更管理元数据采集管理元数据使用管理元数据模板管理元数据采集元数据分析元数据检索数据质量问题库管理数据质量检核维度管理检核规则管理检核方法管理分支机构数据管理专项考核仓库质量管理全景视图数据分类定义数据归档定义数据归档执行归档数据检索数据分类定义管理数据归档定义管理数据标准落地管理数据质量检核指标管理数据质量检核执行管理数据归档执行管理数据标准变更归档数据共享管理数据标准发布管理数据标准维护12负责代表本部门长期参与数据标准化与数据治理工作；参与各项数据标准化与数据治理制度的制定，并负责在本部门宣介；收集、整理并向小组办公室反馈元数据、数据标准、数据质量等相关工作需求；参与数据治理工作中相关问题的解决。1各相关部门数据管理综合岗职责2各分行职责负责按照数据标准和数据质量管理要求进行数据的录入与维护工作；按照各项数据治理制度参与数据治理工作。案例1：国家开发银行数据管控组织架构案例1：国家开发银行数据管控组织架构数据标准类数据应用支持类数据治理类数据应用类所有领域数据管理管理制度与流程管理办法管理流程技术规范及模板数据标准管理办法各类数据标准管理细则数据标准管理相关流程数据质量管理办法数据采集录入管理办法数据模型管理办法元数据管理办法数据流管理办法数据安全管理细则外部数据管理办法历史数据归档管理办法数据质量管理相关流程数据模型管理相关流程元数据管理相关流程数据流管理相关流程数据安全管理相关流程外部数据管理相关流程历史数据归档管理相关流程数据平台数据交换管理办法数据平台运维管理办法数据平台ETL开发管理细则数据集市管理办法数据仓库管理办法数据库统一运维管理办法数据平台数据交换管理相关流程数据平台运维管理相关流程数据平台ETL开发管理相关流程数据集市管理相关流程数据仓库管理相关流程数据库统一运维管理相关流程新协议实施数据管理和完善模块工作管理报表需求管理办法数据服务管理办法数据应用手工数据补录管理办法管理驾驶舱系统数据管理实施细则开放数据服务支持系统管理细则报表需求管理相关流程数据服务管理相关流程数据应用手工数据补录管理相关流程数据管理与应用绩效管理流程数据质量度量规则及检核方法模板数据模型设计评审/备案申请表IT系统改造、新建或变更投产元数据管理审核单元数据专项服务需求审批表IT系统改造、新建或元数据日常变更通知单数据交换需求审批表ETL编写规范报表新增需求审批表报表变更需求审批表数据管理与应用关键指标及计算说明数据管理与应用绩效管理办法数据标准需求审批表案例1：国家开发银行数据管控制度与流程体系架构案例1：国家开发银行数据管控制度流程示例案例1：国家开发银行数据管控制度流程示例全流程信贷中小企业信贷核心系统CRM系统.产品业务客户业务资产业务公共代码数据管理系统产品种类完整性产品种类正确性数据标准检核涉及物理模型财务业务交易业务协议业务营销业务渠道业务表外产品一致性客户类别完整性客户是否金融机构完整性客户是否金融机构与金融机构类型一致性客户金融机构类型与金融机构许可证代码一致性企业出资人经济成分完整性债权性质分类完整性合同状态正确性案例1：国家开发银行数据质量体系案例1：国家开发银行数据质量检查点28公路收费权公路收费权资产编号资产描述项目名称电力收费权电力收费权资产编号资产种类供应商收费权收费权资产编号资产管理系统数据仓库DW基础区收费权.资产编号数据整合度量规则表 字段必须存在于表 字段;表 字段必须存在于表 字段检核脚本select length(trim(siidno),count(1)from odsfdm.f_ci_per_cisia where siidtp=01 group by length(trim(siidno);select count(*)from F_CI_PER_CISIA where siidtp=01 and length(trim(siidno)=18 and(substr(siidno,11,2)not between 01 and 12)or(substr(siidno,13,2)not between 01 and 31)or(substr(siidno,7,4)not between 1900 and 2010)规则来源度量规则案例1：国家开发银行数据质量-资产业务-收费权主外键规则案例1：国家开发银行数据质量考核指标30案例1：国家开发银行数据质量考核指标31案例1：国家开发银行标准落地示例客户标准落地 案例1：国家开发银行标准落地示例信贷类产品数据标准落地 平台建设制度流程平台价值平台实施一级功能6项，二级功能17项核心功能：元数据采集、元数据分析、版本管理、变更管理、数据地图、视图管理等一级功能5项，二级功能15项核心功能：数据质量问题发现、数据质量问题分析、数据质量提升、数据质量度量规则、数据质量考核、综合查询等功能一级功能3项，二级功能10项核心功能：基础类数据标准浏览、公共代码浏览、数据标准需求、数据标准发布、数据标准变更、数据标准执行、综合查询等一级功能6项，二级