银行卡统计分析系统数据处理策略
银行卡统计分析系统银行卡统计分析系统数据处理策略银行卡统计分析系统项目组目 录一、源数据1二、传输源数据4三、文件解压4四、基础数据预处理、加工4五、加载4六、转换5七、加工5八、生成报表区5九、生成XML文件5十、生成事实表、维表5十一、生成CUBE6银行卡统计分析系统对数据的处理分为每日和月底两种情况。所有的处理在调度系统的管理下全封闭运行，正常情况下不需要人工干预。银行卡统计分析系统的数据处理流程主要如下：源数据->基础数据->应用数据；应用数据->报表数据->XML文件；应用数据->多维数据->生成CUBE。一、源数据源数据分ABIS和AIPS，其中ABIS数据是由总行统一下发的，AIPS数据需要分行根据要求的字段和频率进行抽取。1) ABIS源数据数据文件以ACSII码方式提供，文件命名格式与总行下发的一致，字段间使用”|!”分隔，其中分户帐表在年底为结算后的数据。清单提供如下：表名中文名频度ccy货币表每日caod透支交易明细表每日pcci信用卡信息表每日pptc挂失登记簿每日pptl重要非金融性交易流水表每日ppts商户表每日caom透支主档表每日tlt渠道柜员表每日bdt行部表每日pdci借记卡信息表每日pptj银行卡交易流水表每日apsh活期交易历史明细每日tmt终端表每日小计13pccg额度等级表月底capm个人贷款主档月底cmaa支票账户主档月底cacm对公贷款主档月底pdcr借记卡产品账号对照表月底abom国债核算主档月底afsm定活两便账户主档月底afnm通知存款账户主档月底afdm整整账户主档月底afcm零存整取账户主档月底iac通用分户帐月底erp牌价表月底apsm活期账户主档月底pcsi睡眠卡信息表月底合计272）前置数据数据文件以ACSII码方式提供，文件命名格式ABIS数据一致，字段间使用”|!”分隔，文件命名中的省市代码采用ABIS的省市代码。清单提供如下：表名中文名频度csd卡业务明细表每日abisteller银行卡前置柜员表每日ebankqrytrace网银交易信息表每日合计3Csd提供的字段如下：字段名字段中文名字段类型字段长度字段小数位长度PK值acctype帐户类型CHAR3amt交易金额DECIMAL202date日期CAHR8Yfee手续费DECIMAL202reqid请求设备标识CHAR8reqseqno请求流水号CHAR12Yrespseqno应答流水号即AP流水号CHAR12Ytranscode交易码CHAR4reqtype请求设备类型CHAR2accno帐号CHAR19Ytransstatus交易结果状态CHAR1accflag行内帐户标志CHAR1Abisteller提供的字段如下：字段名字段中文名字段类型字段长度字段小数位长度PK值teller柜员号CHAR4term 终端号CHAR4reqid请求标识CHAR8YEbankqrytrace提供的字段如下：字段名字段中文名字段类型字段长度字段小数位长度PK值reqid请求设备标识CHAR8reqseqno 请求流水号 CHAR19 reqdate 请求日期 CHAR8 reqtime 请求时间 CHAR6 respseqno 应答流水号 CHAR19 transcode 网银交易码 CHAR4 ebankseqno 网银流水号 CHAR19 Ycustomerno 客户号 CHAR11 accno 借方账号 CHAR30 accname 借方户名 CHAR60 acctype 借方账户类型 CHAR3 acccurrency 借方货币码 CHAR3 accoftype 借方钞汇标志 CHAR1 accopenbank 借方开户行行名CHAR100accbankno 借方开户行行号CHAR6 craccno 贷方账号 CHAR30 craccname 贷方户名 CHAR60 cracctype 贷方账户类型 CHAR3 cracccurrency贷方货币码 CHAR3 craccoftype 贷方钞汇标志 CHAR1 craccopenbank贷方开户行行名CHAR100craccbankno 贷方开户行行号CHAR6 transvern 转账业务版本号CHAR1 transamt 交易金额 CHAR20 purpose 交易用途 CHAR100grpflag 集团交易标识 CHAR1 grpcomm 集团交易说明 CHAR100transenter 业务受理渠道 CHAR20 abisrespcode 主机应答码 CHAR4 jrnno 主机日志号 CHAR9 vchno 主机传票号 CHAR8 transstatus 交易处理标志 CHAR1 printflag 打印标志 CHAR1 crprintflag 贷方打印标志 CHAR1 二、传输源数据利用csas_file_list把源数据文件传输到银行卡统计分析系统主机。三、文件解压 系统利用脚本对接收的源数据文件进行解压，具体查询日志目录为/wkfile/ap/log/日期/ER01，通常文件不能解压可能出现的问题如下：l Ctl文件不存在。每个源数据文件数据均以.gz和.gz.ctl文件成对存放，若只有.gz文件而无ctl文件，程序不进行解压。l 文件无法解压，需要检查提供的源数据文件是否正确。l 文件系统问题。由于是用gzip命令进行解压，可能会有类似空间不够、权限不够等问题造成不能解压。l 大文件问题。即系统必须支持2G以上的大文件，否则也不能解压。四、基础数据预处理、加工具体查询日志目录为/wkfile/ap/log/日期/EE01，该部分主要是进行日期处理、次主键等处理，生成中间文件。五、加载 把生成的中间文件加载到IQ的加载区中，具体查询日志目录为/wkfile/ap/log/日期/LL01，此时生成的数据一般只保留1天。通常可能出现的问题如下：l 源文件有问题。比如源文件内容有误，需具体分析，将有问题的行剔除，然后再继续加载。l IQ数据库有问题。此时一般会有明显的提示信息，可根据提示进行处理。六、转换 把数据从加载区迁移到基础数据区的过程，具体查询日志目录为/wkfile/ap/log/日期/TT01，此时生成的数据为基础数据，原则上要求保存3年，但由于空间和系统效率问题，分行可以根据备份策略进行备份。七、加工 根据统计口径的要求，对基础数据区的数据进行加工生成应用数据区数据。具体查询日志目录为/wkfile/ap/log/日期/TRANP，该目录内各文件名与各个数据表名一一对应。八、生成报表区根据应用区的数据，映射生成报表区的数据，具体查询日志目录为/wkfile/ap/log/日期/FRONT，该目录内各文件名与前台各报表的名称一一对应。九、生成XML文件 根据报表区的数据生成XML文件，供系统展现。具体查询日志目录为/wkfile/ap/log/日期/sql2xml，该目录内各文件名也与前台各报表的名称一一对应。十、生成事实表、维表 根据应用区的数据和多维分析模型，生成系统需要的事实表和维表十一、生成Cube 根据事实表和维表生成Cube第6页
