ODS数据质量检查脚本开发
2页ODS数据质量检查脚本开发一、 目的ODS层数据加载期间,限于源系统数据质量,会对数据进行一定程度的清洗。在洗洗过程中未知问题可能会造成数据的失真,导致后期数据加工会出错,所以需要实现ODS层数据加载后,ODS层对数据质量的进行一次检核。二、数据现状数据按照ODS层表命名规则,存放在相应的表里。三、实现基于计划中前置条件 2、3、4、5、6、7 产生的查数SQL脚本(即检核规则),编制相应的SHELL脚本,来判断数据加工结果准确与否,并将核对结果入ODS监控系统表。相关表结构设计如下:ods_quality_check_list字段名字段英文名字段类型是否主键NULL备注分行号proc_nochar(2)10会计日期record_dtchar(8)10检查项编号check_idchar (4)10检查项check_namechar (255)00检查结果check_resultchar(1)001是,0否检查时间check_timeChar(20)10ods_quality_check_help字段名字段英文名字段类型是否主键NULL备注检查项编号check_idChar(4)10检查项check_nameChar(255)00帮助check_helpChar(500)00表ods_quality_check_help 数据检查项编号检查项帮助(相应出错处理指导,待定)check_idcheck_namecheck_help1PDS:分户帐的核对2PDS:明细信息的核对3PDS:产品与账号对应关系4PDS:存款利息5CMP:企业客户信息与账户信息核对6CMP:交易明细的核对7CMP:分户的核对8CAS:AC拼接9CAS:贷款利息10CAS:贷款明细与主档11AI:总帐自身核对12AI:总帐与分户帐核对13AI:总帐与内部核算分户帐核对14AI:GAT与PLP_C之间核对ODS调度开发人员,基于以上两张表将结果展现给监控人员,以便进行错误定位。
《ODS数据质量检查脚本开发》由会员苏****分享,可在线阅读,更多相关《ODS数据质量检查脚本开发》请在金锄头文库上搜索。
《组织能力的突破:从杨三角看领先企业成功之道》杨国安
2022年第一季度人力资源关键指标专项调研报告
《全球中小微企业在疫情后时代的挑战、应对与转型》
个人信用信息基础数据库数据接口规范
CFCA统一的电子商务安全网上支付平台-系统安装指南
1104工程培训资料_模块09_信用风险分析
基础数据平台作业调度监控系统详细设计说明书
中小企业信贷系统用户需求规格说明书_合同管理
信贷统计监测数据系统详细设计说明书
非现场监管报表指标体系(金融机构法人机构适用)基础报表、特色报表填报说明
经营分析系统用户ETL测试计划书(ABIS部分)
经营分析系统工作汇报
Unix系统知识培训
经营分析系统测试大纲(ELT案例)
经营分析系统测试案例(OLAP案例)
顺义新城林河南大街配套工程实施方案
银行卡统计分析系统详细设计说明书(前台)
银行卡统计分析系统多维应用服务器安装部署
银行卡统计分析系统数据准确性测试案例
银行卡统计分析系统报表数据准确性测试案例
2023-05-19 5页
2023-05-19 13页
2023-05-19 4页
2023-05-19 12页
2023-05-19 10页
2023-05-19 4页
2023-05-19 4页
2023-05-19 4页
2023-05-19 1页
2023-05-19 39页