数据管控平台建设
10页1、数据管控平台建设 2 数据管控总体规划 管 管 管 管 管 管 管 管 管 管 管 管 管 管 管 管 管 管 管 管 管 数据数据 形态形态 数据数据 规范规范 数据数据 质量质量 管控体系中的数据标准、数据质量和元数据之间有着紧密的关系,三者的关系如下: 数据标准向元数据提供业务元数据的标准定义,并可以通过元数据平台进行维护; 数据标准定义了符合进仓数据的标准和依据,指导数据质量进行有效的质量监测和检查;另 一方面,通过数据质量具体的操作来促进数据标准的执行情况; 元数据作为数据质量的数据提供者,向数据质量提供包括表、字段、代码等元数据对象及其 属性定义,能够帮助仓库的使用者更好的发现数据的质量问题; 3 元数据平台管理体系架构 4 元数据的基础功能 元数据查询浏览:侧重于对元数据的内容展现和查询方式支持 元数据数据分析:侧重于基于元数据的分析功能,从数据中提取对技术、业务用户有用的信息 元数据管理:元数据平台的管理功能 BI元数据和企业级元数据的互动:企业级元数据经ETL平台加工整理进入仓库,形成BI元数据, 可通过血缘分析和影响分析功能查看两者的互动关系; 5 元数据管理平台实
2、施步骤 了解和评估光大目前元数据的实施和使用情况 确定元数据功能需求和数据涵盖范围 确定元数据平台的部署环境 设计开发元数据产品(包括元模型、应用架构等)和适配器 元模型存储库的创建和初始化 元数据应用的部署 和光大其它资源集成,比如统一门户Portal 技术元数据的加载:通过技术元数据适配器,从仓库环境以自动或者手工方式,定 时或者按需加载技术元数据 业务元数据的加载:整理业务元数据,并通过业务元数据适配器导入;业务元数据 的加载需要人工参与 功能需求的新增开发 界面的优化调整 元数据的数据维护:通过元数据平台前端进行人工维护,也可通过适配器进行批量 维护 元数据的功能维护:协调元数据平台开发人员进行功能调整和完善 6 数据质量平台架构 管理配置平台:质量规则的管理维护,支持用户界面手工编辑方式进行维护或者文件方式批量导入 检查执行平台:数据质量知识库中抽取相关质量规则,以检查脚本为载体,通过ETL服务器任务调度,完 成数据检查,并将检查结果保存进数据质量知识库 质检报告展示平台:以WEB页面或者文件方式查看质量检查结果 7 数据质量检查工作流程 步骤1,建立质量检查规则:通过质量规
3、则配置管理平台手工配置或者通过批量导入功能将 质检规则导入数据质量知识库; 步骤2,检查任务发布:通过检查执行平台,从数据质量知识库中提取检核规则,以脚本方 式实现,检查任务为载体,并将检查任务发布到ETL服务器上并作为ETL任务一部分执行;如 果采用手工方式检查数据,此步骤可略过; 步骤3,数据质量检测:通过检查执行平台的调度功能,运行质检任务,并将数据质量检查 结果返回数据质量知识库;如果采用手工方式检查数据,可人工从知识库提取检核规则并执 行,检查结果也需通过质量平台维护进入知识库; 步骤4,检核结果查看:通过质检报告展示平台,通过平台用户界面或文件方式查阅数据质 量检查结果; 8 数据质量监控流程 发现质量问题后,数据管理组分析问题,审阅数据质量报告; 数据生产者追溯问题原因,修正相关数据; 业务责任组判断现有监控方式、流程能否发现该问题,并提出解决方案; 数据管理组审批并执行方案,并对修正后的数据进行验收 9 数据质量管理办法 Tex t 1.策略制定策略制定 3. 数据监控数据监控 5. 效果评估效果评估 2. 评估方法评估方法 制定制定 4. 改进措施改进措施 策略制定:制定数据质量管理办法,包括数据质量稽核方法; 评估方法制定:定义评估数据质量的指标及计算方法; 数据监控:通过数据质量管理工具对数据质量状况进行监控,及时发现问题并提交 相关人员解决; 改进措施:针对发现的数据质量问题,制定相关改进方法; 效果评估:对于数据质量改进效果,定期进行评估。 10 谢谢!
《数据管控平台建设》由会员小**分享,可在线阅读,更多相关《数据管控平台建设》请在金锄头文库上搜索。
2020年高考真题——理科综合(全国卷Ⅲ)+Word版含答案
2021年绝味鸭脖策划书
2021年熟食店创业方案
2021年熟食店开店策划
2021年卤菜店创业计划书
2021年周黑鸭网络营销策划方案
东大21年1月考试《现代设计方法》考核作业
谈我国行政管理效率的现状及其改观对策(论文)
单证员考试-备考辅导-复习资料:无贸易背景信用证案分析.docx
土木工程毕业生答辩自述.docx
建筑学毕业后工作状态真实写照.doc
C#代码规范(湖南大学).doc
xx区食药监局2019年工作总结及2020年工作计划
2019年中医院药物维持治疗门诊工人先锋号先进事迹
2019年度xx乡镇林长制工作总结
2019年性艾科工作计划书
2019年人才服务局全国扶贫日活动开展情况总结
关于组工信息选题的几点思考
摘了穷帽子 有了新模样
2019年某集团公司基层党支部书记培训班心得体会
2024-04-08 33页
2024-04-08 10页
2024-04-08 25页
2024-04-08 12页
2024-04-08 10页
2024-04-08 21页
2024-04-08 40页
2024-04-08 34页
2024-04-08 28页
2024-04-08 28页