银行卡统计分析系统试运行方案

银行卡统计分析系统试运行方案（讨论稿）目 录第一章 项目背景3第二章 试运行工作目标4第三章 试运行计划6第四章 各部门职责8第五章 技术实现方案9第六章 运行环境的准备12第七章 试运行分行的准备16银行卡统计分析系统在卡部、科技部、软件开发中心各级领导的大力支持和帮助下，2006年7月启动需求和需求分析。项目组克服人手少、时间紧、任务重等实际困难，通过需求分析、概要设计、详细设计、系统开发、功能测试、数据准确性测试和集成测试等工作，项目组于2007年3月完成基于SYBASE ASE15版本的开发，2007年4月完成由SYBASE ASE15到SYBASE IQ的移植。第一章 项目背景目前，全行银行卡统计分析数据基本采用手工录入逐级上报的方式，这种方式虽然对全行卡业务经营管理发挥了一定的作用，但是，还存在数据不准确、汇总时间长等诸多问题，已严重制约了全行卡业务管理的发展。这些不利情况已引起了卡部的高度重视，解决银行卡数据的准确性、一致性、效率等问题已成为当务之急。 2006年2月，唐行长批准了总行卡部关于银行卡统计分析系统业务立项的请示（银行卡部第20050161号）的签报；6月，总行卡部完成了银行卡统计分析系统需求说明书（讨论稿）（以下简称需求书），并向科技部提交签报关于申请银行卡统计分析系统技术立项的请示（银行卡部第20060050号）；8月，项目组依据总行卡部提出的需求书进行了需求分析；9月26日，开发中心收到总行科技部“银行卡统计分析系统”电子化项目开发任务书（科项字（2006）第46号）。10月，项目组到广东进行封闭开发，经过几个月的开发，目前已经ASE和IQ两个版本的开发和测试。第二章 试运行工作目标一试运行目的在全面推广之前进行试运行的目的有三个：1、启动项目推广，推进项目进度启动银行卡统计分析系统项目推广，通过试运行，加速银行卡统计分析系统项目开发、推广速度。为银行卡统计分析系统早日在全国推广做好准备。2、分析运行环境状况 通过银行卡统计分析系统项目的试运行，测试、分析、总结运行环境的各种状况，包括系统访问的并发能力，主机、数据库、网络的压力，总结运行经验，为银行卡统计分析系统项目的全国推广积累经验。3、进一步提高数据准确性，为全国推广做好准备工作通过银行卡统计分析系统项目的试运行，进一步测试试点分行的数据准确性，全面分析数据差异原因，总结试运行工作的经验，丰富和完善培训教材，制定银行卡统计分析系统的相关规定，为银行卡统计分析系统项目的全国推广打好基础。二机构试点机构包括：总行、江苏分行、河北分行、广东分行；每个分行选择下辖所有分支机构。三 数据试运行过程中将采用ABIS中2007年3、4、5月三个月份的数据，AIPS数据采用试运行时点的数据。四 系统访问方式试运行过程中采用总分的部署方式，每个分行的各级用户通过分行办公网访问系统，总行的用户通过总行办公网访问系统，部分分行的用户可以通过全行办公网访问系统。五 试运行内容（一）业务功能验证1、对电子报表、公共信息栏、数据项查询、辅助采集、多维分析、系统管理等模块的功能逐一进行验证，确保系统设计的各项业务功能的正常使用。2、将系统生成的各类报表及数据与业务部门提供的数据进行核对，对其差异进行分析，确保系统数据的准确性。（二）系统测试1网络和主机压力的测试试运行时，测试银行卡统计分析系统各项功能和并发访问时段的网络流量，测试主机、数据库的压力，为系统全面推广提供数据、经验。2 总分行数据交换保证总分数据交换的准确性、快捷性，测试数据交换过程中总分行间网络流量。第三章 试运行计划总行项目组包括技术组、业务组、测试组和监理。具体的计划为： 阶段开始时间结束时间序号具体日期任 务相 关 部 门第一阶段：试运行准备2007年5月8日2007年6月8日12007年5月18日试运行应用软件的准备试运行系统软件的准备技术组22007年5月25日试运行方案、计划试运行通知技术组、业务组、监理32007年6月8日试运行分行设备准备试运行分行源数据准备监理组、试运行分行科技处第二阶段：系统安装2007年6月9日2007年7月15日42007年6月20日前山东分行试运行详细计划制定山东分行系统软件、应用软件安装、部署完成，3、4、5月份数据加工完成技术组、业务组、监理、分行科技处、分行卡部52007年6月30日前广东分行试运行详细计划制定广东分行系统软件、应用软件安装、部署完成，3、4、5月份数据加工完成技术组、业务组、监理、分行科技处、分行卡部62007年7月15日前总行系统软件、应用软件安装、部署完成，总分行联调完成，3、4、5月份两个分行数据加工完成技术组、业务组第三阶段：功能、准确性测试2007年7月16日2007年8月10日72007年8月10日前完成分行系统功能测试完成总行系统功能测试技术组、业务组、测试组、分行科技处、分行卡部82007年8月10日前完成分行数据准确性测试完成总行数据准确性测试技术组、业务组、测试组、分行科技处、分行卡部第四阶段：总结2007年8月11日2007年8月20日92007年8月20日前编制试运行报告，修改完成试运行中的所有问题，制订培训、推广方案技术组、业务组、监理备注：如由于不可控因素导致计划调整，以正式通知为准。第四章 各部门职责一总行 监理：项目管理部门，协调各部门关系，监督项目质量，督促项目进度。技术组：承担项目开发。负责系统环境的搭建、应用系统的部署、配合业务部门完成系统测试，对试运行中发现的问题进行确认和修改。负责对试运行分行技术人员的培训，负责程序版本管理，更新技术文档、管理各类文档。业务组：项目业务主管部门。负责培训试运行分行业务部门，对系统功能和数据准确性进行测试和确认，制定银行卡统计分析系统的相关管理规定。二分行技术组：试运行资源的准备，系统软件的安装，管理系统设备、网络，配合总行项目组完成应用软件的安装和部署。业务组：配合总行项目组对试运行数据核对及准确性测试，提出系统优化建议。第五章 技术实现方案一、系统架构系统可以实现总分式和集中式部署方式，目前只采用总分式。如下图所示。 二、软件部署在实际运行时，需要在总行和分行各部署一套系统，总分行都需要银行卡主机、分析服务器、应用服务器各一台。其中银行卡主机部署ASE、IQ数据库和后台处理程序，分析服务器部署Cognos，应用服务器部署WebSphere和应用。数据平台指的是目前总分行之间数据传输系统。三、逻辑架构为解决海量数据存放、系统存储资源、数据重复处理和断点处理等问题，项目组选用了先进的主键次主键算法（Primary Key and Second Primary Key，缩写为PSK） 构建银行卡基础数据。项目的数据源有文本文件，数据库两种类型，包括ABIS、AIPS、辅助采集系统、运行系统报表等多个系统，为解决多种数据源抽取，项目组采用模块化构建技术，构建了跨系统和跨平台的抽取模块，完成多数据源、码制转换和初步清洗加工等统一化处理；为规范ETL程序开发，项目组根据ETL处理的相似性采用了先进的“模版定制，程序自生成”技术，保证程序标准化；实现数据项灵活管理和自定制查询和下载；为解决自动完成ETL处理、报表处理、CUBE生成和更新，项目组在广东分行作业调度系统基础上进行了改进，可以根据作业的依赖关系进行灵活配置，灵活扩展，具有跨平台、跨系统、跨节点的特性，并且能够通过TCP/IP协议进行通讯，实现作业多线程并发等。数据处理方面为基础数据平台建设提供了直接经验。系统的逻辑架构如下图所示：第六章 运行环境的准备一、系统软硬件要求1、硬件要求在对系统做性能测试的过程中，主要采用了河北分行2006年11月、12月和2007年1月份三个月的数据进行测试，测试的具体情况为：主机型号：rp8420操作系统：HP-UX p1 B.11.11 UCPU：8内存：12G存储：1T数据时间11月12月1月备注文件大小18.42G19.31G18.26G月底全量数据，没有累加每日明细清洗时间89分91分88分对总行下发的文件解压（AIPS中的数据文件抽取）、对日期清洗、增加次主键字段等生成新的中间文件加载时间25分26分24分把新的中间文件加载到加载表中转换时间49分50分49分把加载表中的数据转换到平台表，增加开始日期、结束日期、有效日期三个字段，并根据逻辑关系把数据分段应用数据时间41分42分40分对平台表中的数据进行关联加工，生成卡应用数据（基本数据项）报表数据时间21分22分20分根据报表格式，从应用数据区中取出数据生成报表数据XML时间18分19分18分把报表数据生成展现需要的XML文件多维数据时间2分3分2分从应用数据区生成多维数据区的维表、事实表，与报表数据、XML文件并行执行Cube时间32分33分32分根据多维数据生成Cube总时间4小时03分4小时10分3小时59分河北分行每个阶段的数据情况为：源文件大小：40G（1个月，包括清洗前和清洗后的两份数据）临时文件大小：100G加载区的大小：9.8G（1个月）平台区的大小：25.6G（1个月）应用区的大小：8.5G（1个月）报表区的大小：6.8G（1个月）XML文件大小：12.5G（1个月）系统参数表大小：200M可以根据每个阶段的数据需要保留的时间计算系统需要的总的存储空间，比如按照系统正式上线后业务部门的要求：源数据文件、加载区、平台区数据需要保留3个月；应用区、报表区、XML文件数据需要保留2年。则实际需要的存储空间为：文件系统：20G*3+40G（源文件个月历史和本月的数据）+100G（临时文件大小）+12.5G*24（两年XML文件大小）500GIQ数据库：9.8G*3（加载区个月数据）+25.6G*3（平台区个月的数据）+8.5G*24（应用区两年的数据）+6.8G*24（报表区两年的数据）=473.4GASE15数据库：200M（系统参数表）分行结合以上测试结果和分行目前的实际情况以及将来正式上线后的情况（比如试运行期间数据保留时间，正式上线后数据保留时间等制定存储空间，同时考虑CPU和内存的分配情况，确保数据能够在总行规定的时间内加工完成）制定资源配置计划，其中还要考虑到IQ和ASE15数据库安装所占空间以及为系统预留一些空间。2、软件要求后台主机：AIX/HP-UX操作系统，SY