数据治理之主数据管理技术方案详解

数据治理-主数据管理解决方案主数据管理都管什么需要在不同的业务中共享的准确的完整的一致的集中管理与维护起来来自于不同的业务系统的集成治理共享质量主数据管理 监管标准化来源采集分发主数据管理组织角色标准规范管理工具主数据管理的五个方面质量策略通通过过基基于于标标准准的的模模型型规规范范和和可可靠靠的的交交换换机机制制来来保保证证相相关关主主题题域域和和业业务务系系统统之之间间主主数数据据的的实实时时性性、完完整整性性和和有有效效性性。将将主主数数据据从从应应用用系系统统中中分分离离出出来来，使使其其成成为一个为一个集中集中的、高的、高质量质量的、可的、可管理管理的、可重用的核心数据资源的、可重用的核心数据资源实现主数据管理的三个必然要素业务梳理产品支撑二次开发企业实现主数据管理的必然步骤主数据识别规划与设计主数据建模数据采集质量管控数据分发维护我需要怎样的主数据？数据怎么来？数据怎么用？数据怎么维护？企业实现主数据管理的必然步骤主数据识别我需要怎样的主数据？n哪些数据是主数据企业实现主数据管理的必然步骤主数据识别我需要怎样的主数据？规划与设计n谁提供谁要用验证规则管理方式主数据规划与设计HR合作伙伴管理客户管理财务BI生产者消费者p管理方式p生产者与消费者例如：人员维护入口MDM入口业务系统入口主数据使用方式远程调用本地拷贝管理方式主数据主数据维护入口维护入口使用方式使用方式财务科目主数据 MDM入口本地拷贝客户主数据业务系统入口本地拷贝性别主数据MDM入口远程调用员工主数据业务系统入口远程调用例：主数据识别业务部门财务管理部人力资源部行政部资金结算中心法务部工程管理部业务系统项目管理系统HR系统客户系统财务系统OA系统运营管理系统项目管理物资采购产品销售业务流程资金管理运营决策业务实体客户物料产品人员资金项目科目客户物料产品项目人员客户物料产品项目资金人员客户物料产品项目客户主数据供应商主数据产品主数据主数据集维护入口1-集中维护MDM员工信息主数据主数据集中维护，各应用不再变更主数据，都引用同一份主数据，各应用不再变更主数据，都引用同一份主数据管理员主数据变更维护入口2-分散维护MDM客户信息客户信息主主数数据据分散维护，各各应应用用系系统统有有权权变变更更主主数数据据，主主数数据据平平台台解解决决冲突，维护数据一致性。冲突，维护数据一致性。主数据使用方式1-接口方式MDM员工信息仅仅在在MDMMDM中中保保存存一一个个主主数数据据的的拷拷贝贝，所所有有应应用用通通过过MDMMDM提供的多种提供的多种数据接口访问主数据访问主数据主数据使用方式2-本地方式MDM员工信息员工信息员工信息员工信息主数据被分发到各应用中，应用本地保留一个主数据的主数据被分发到各应用中，应用本地保留一个主数据的拷贝主数据规划与设计基本验证规则：数据类型、可选值列表、值域验证、用户自定义规则（邮箱有效性、邮政编码有效性等），用于主数据字段属性；标准化规则：用于来源数据的标准化与清洗；唯一性规则：用于自动化匹配，对来自多个数据源的数据的阈值分析。p主数据元模型设计p验证规则元模型名称：T_Emploee字段名称字段名称说明说明数据类型数据类型长度长度是否必填是否必填约束约束EMPID人员编号numeric10是是主键EMPCODE员工工号varchar264是是全系统唯一编码，遵循工号编码规则EMPNAME员工姓名varchar250是是DEGREEE文化程度varchar250是是来自业务字典表BIC_Degree参照GB_T_4658-1984_文化程度代码DEPTNO所属部门编号varchar210是是来自部门表DEPARTMENTGENDER性别char1是是F=女,M=男，2=未知国家标准行业标准企业标准参考生产者的数据模型消费者的数据模型企业自身的主数据标准企业实现主数据管理的必然步骤主数据识别我需要怎样的主数据？n数据模型数据关联版本管理规划与设计主数据建模主数据建模p元数据信息p数据规则建模长度限制是否必填是否数字是否邮件1、字典2、主数据员工主数据员工主数据元模型字段名称字段名称说明说明数据类型数据类型长度长度EMPID人员编号numeric10EMPCODE员工工号varchar264EMPNAME员工姓名varchar250DEGREEE文化程度varchar250DEPTNO所属部门编号varchar210GENDER性别char1n字段名称n字段长度n字段类型n字段约束n是否主键必须包含符，必须以.com结尾n提供可视化界面，方便用户建模n支持字典数据录入n支持实体关系建模，支持多种关联关系映射关系建模人力资源项目管理销售系统财务系统MDMMDMVIP收入结算采购存储关联映射标识多对一映射管理属性变更自动同步提供同步和变更记录n根据业务规则，建立主数据与生产者、消费者之间的业务关联关系与具体数据的映射模型版本管理员工主数据员工主数据元模型字段名称字段名称说明说明数据类型数据类型长度长度EMPID人员编号numeric10EMPCODE员工工号varchar264EMPNAME员工姓名varchar250DEGREEE文化程度varchar250DEPTNO所属部门编号varchar210GENDER性别char11.0版本员工主数据员工主数据元模型字段名称字段名称说明说明数据类型数据类型长度长度EMPID人员编号numeric10EMPCODE员工工号varchar264EMPNAME员工姓名varchar250DEGREEE文化程度varchar250DEPTNO所属部门编号varchar210GENDER性别char1Age年龄Numeric32.0版本n提供对元数据的版本管理（规则、映射）n提供对元数据的生命周期管理n版本变更时，保障数据同步一致企业实现主数据管理的必然步骤主数据识别我需要怎样的主数据？规划与设计主数据建模数据采集数据怎么来？n技术手段采集规则客户管理财务管理外部数据导入生产者信息应用适配器DB适配器接口适配器人工触发规则自动校验主数据中间库企业主数据格式转换、标准化流程人工校验定时触发批量导入多数据源适配器多种采集策略主数据采集主数据建模引用预定义映射转换规则企业实现主数据管理的必然步骤主数据识别我需要怎样的主数据？规划与设计主数据建模数据采集数据怎么来？n数据质量一致性业务准确性质量管控主数据质量确保c1234肖福濤客户A1230809198009280521501-774-809规则库数据类型验证(数字、日期)可选值列表值域验证其它用户自定义规则流程引擎：通过流程人工管理校验、除重,过滤,转换,主数据中间库企业主数据库规则引擎：通过规则自动管理来源姓名性别身份证号卡号银行帐号客户A肖福濤M230809800928052501-774-809客户A肖福涛123080919800928052150177480962258823178909876225882317890987数据变更审核NameSexage张三男27NameSexage张三男30NameSexAgeStarttimeEndtimeCompany变更前变更后StarttimeEndtimeCompanyname2008.7.12010.10.15Kingdee张三StarttimeEndtimeCompanyname2008.7.12010.10.31kingdee张三变更前变更后年龄调整原工作单位调整数据变更审核NameSexAgeStarttimeEndtimeCompany年龄调整原工作单位调整姓名：张三性别男年龄27开始时间结束时间单位2008.7.12010.10.15Kingdee姓名：张三性别男年龄30开始时间结束时间单位2008.7.12010.10.31Kingdee变更前变更后企业实现主数据管理的必然步骤主数据识别我需要怎样的主数据？规划与设计主数据建模数据采集数据怎么来？n技术手段分发策略冲突管理质量管控数据分发数据怎么被使用？客户管理财务管理外部数据导入消费者信息应用适配器DB适配器接口适配器人工触发定时触发批量导入分发接口适配器多种分发策略主数据分发主数据建模企业主数据发布策略手工同步自动触发定时触发目标系统项目管理合作伙伴客户管理财务管理企业实现主数据管理的必然步骤主数据识别我需要怎样的主数据？规划与设计主数据建模数据采集数据怎么来？n权限审计版本流程质量管控数据分发数据怎么用？集中维护数据怎么维护？主数据集中监管过程审计供应商主数据客户主数据产品主数据人员主数据科目主数据增删查改分发角色A角色B管理控制台采集安全控制版本控制数据源目的时间动作客户ACRMMDM2011-3-2320:14:00新增客户AMDMPM|EAS2011-3-2420:15:00分发主数据变更记录c1234肖福濤客户A1230809198009280521501-774-8096225882317890987V1.0主数据流向记录提纲Contentsn企业如何实现主数据管理n产品与方案数据与服务总线(Pirmeton ESB)基于SOA的主数据管理整体解决方案生产管理生产管理CRMCRM系统系统货运管理货运管理客户管理客户管理财务系统财务系统人力资源人力资源其他其他DBDBDBDBDBDB服务接口规范服务接口规范服务接口规范服务接口规范服务接口规范服务接口规范数据与服务总线(ESB)元模型主数据主数据管理平台(MDM)流程服务数据申请配置管理数据审核服务监控服务注册服务管理规则引擎数据查询用户业务人员管理人员Primeton ESBTMPrimetonESB产品功能架构Primeton ESB 产品主要包含：Primeton ESB Studio：主要提供各种服务(中介服务、穿透服务、编排服务等)的开发、调试以及属性设置、元数据导出等，为便捷快速地开发各种服务提供可能；Primeton ESB Server：提供了多协议的支持以及为服务运行提供了高性能、高可靠的运行环境，方便的扩展机制，为Primeton ESB 融入企业IT环境提供了有效支撑及管控手段，同时不依赖于J2EE容器的特性大大提升了性能；Primeton ESB Console：提供了独立和集群环境中的ESB Server进行管理，同时对于服务全生命周期进行管理；Primeton ESB Service State Monitor：提供了对ESBServer运行时数据的存储、分析能力，增强了客户感知度；Primeton ESB Software Asset Management：提供了服务注册、服务查找、SLA管理等功能；Primeton ESBService State MonitorPrimeton ESB ServerSOAP/HTTP、JMS、Http/Https、Socket、IBM MQ、SAP、FTP、JDBC等消息路由服务编排消息机制(MOM)协议转换基础服务资源分配扩展机制超时机制重试机制热加载异常处理消息转换Primeton ESB Studio服务开发服务调试消息转换服务编排消息增强JVMPrimeton ESB Console服务监控消息监控流程监控日志分析系统配置消息路由Primeton ESB Software Asset ManagementSLA管理元数据管理服务注册服务查找SEDA基础框架服务器管理集群管理部署管理服务生命周期管理服务注册32在线工具Excel模板生成权限管理系统权限应用权限运行统计统计综合查询软件资产管理接口注册管理系统IP地址管理资产审计管理上线部署管理资产管理者资产提供者资产调用者相关角色通过服务注册与存储SRR对接口服务、数据模型等软件资产通过一定的管理流程进行集中管理调用关系管理软件资产统计管理部署管理变更历史查询注册审计报文审计调用审计审计任务管理接口运行统计接口运行诊断接口运行检索Excel格式校验在线比对工具服务监控33接口服务监控系统（SSM）SSM Persistence数据库数据访问接口