银行数据中心应用平台项目方案建议书

银行数据中心应用平台项目方案建议书目 录第1章项目概述61.1项目背景61.2项目目标81.3项目需求81.3.1数据中心81.3.2金融数据模型101.3.3数据分析及业务应用展现11第2章解决方案概述132.1数据中心应用平台132.2解决方案体系架构14第3章系统规划方案153.1总体规划153.1.1数据中心应用平台规划蓝图153.1.2商业银行数据中心实施路线图163.2分步实施应用系统，快速实现业务价值193.2.1支持CRM建设的360客户视图193.2.2基于经济资本的绩效考核213.2.3风险管理项目群233.2.4流动性分析26第4章技术解决方案284.1数据中心整体架构设计284.1.1系统设计原则294.1.2总体逻辑架构304.1.3数据中心逻辑架构与产品部署架构354.2数据中心平台方案详细设计374.2.1数据中心应用平台模型设计374.2.2数据源分析方案484.2.3数据流程设计(Data Centric View)524.2.4ETL架构设计574.2.5元数据管理674.2.6数据质量管理744.2.7数据生命周期管理794.2.8数据备份与恢复804.3综合报表平台技术方案824.3.1综合报表系统整体功能概述824.3.2普通报表的实现844.3.3OLAP分析应用的实现854.3.4即席查询平台应用的实现874.3.5集成到统一展现平台884.3.6移动BI894.3.7其它技术实现934.3.8统一展现944.3.9基于门户技术制定统一展现规范并实现报表的集成954.3.10制定统一展现规范964.3.11需求分析的流程和方法974.3.12整体测试方案974.4物理架构设计1004.4.1数据仓库配置方法(BCU)1004.4.2数据量估算1054.4.3服务器选型1074.4.4物理部署架构1074.4.5数据中心系统扩展建议109第5章产品解决方案1115.1软件配置列表1115.2产品介绍1115.2.1InfoSphere Warehouse产品1115.2.2ETL 集成工具IBM Information Server1295.2.3BI分析和报表工具Cognos151第6章项目实施方案1976.1项目进度计划1976.1.1项目一期进度计划1976.1.2项目阶段的工作内容及提交成果1986.2项目培训1986.3项目组织构架2006.3.1项目组织架构2016.4项目沟通计划2036.4.1每周项目例会2036.4.2项目进展汇报（会）2036.4.3问题处理流程2046.5质量管理计划2056.5.1目的2056.5.2范围2056.5.3质量保证组织2066.5.4质量控制过程2066.6风险管理计划和控制207第7章体解决方案的优势和特点2097.1.1丰富的实施经验2097.1.2高性能2137.1.3可扩展性2157.1.4开放性2187.1.5系统可靠性2197.1.6数据安全220第1章 项目概述1.1 项目背景目前，商业银行已经建立了可以覆盖全省的网络中心，1个营业部33个机构网点主要分布在德阳市、成都市、广汉市、什邡市、绵竹市、罗江县、中江县。并且，随着业务的发展，行内已拥有28个业务系统，目前有28个业务系统：信贷系统、核心系统（改造中）、财务系统、中间业务、大额支付、小额支付、银联前置、微贷系统、网上银行系统、ATM&POS&CC、黄金交易系统、短信系统、第三方存管、支付宝前置、实物票据管理系统、网银跨行转账、电票系统、工商行政验资、支票影像、财税库银、身份核查、柜面通、城商行清算中心、电子回单柜系统、同城票据交换、银医联名卡系统、理财业务系统、渠道平台。 业务系统现状 核心系统目前正在改造，综合报表系统（包含1104报表、人行支付报表、反洗钱报表、行内监管报表）待建。 信息技术部针对目前应用系统对业务系统的数据使用情况出台了一套数据使用标准、规范，目前还没有进入到具体实施阶段。 数据使用现状目前行内所使用的各种应用和来源数据之间交叉成网状。 众多业务系统的建立使我行的业务在准确性、实时性上得到了极大的提高，同时也降低了业务人员的办公出错概率。虽然，电子化系统能极大的提高业务效率，但是，随着电子化系统的不断增多，其存在的缺点也逐渐的暴露出来： 数据孤岛，使得各业务系统之间数据共享困难。 不同业务系统的相同指标数据有可能不一致，使得系统之间的衔接困难，不能满足后续应用系统的快速构建的需要。 大量数据冗余。 为满足多个应用系统，需要同时对多个源系统进行频繁数据采集，且每个应用系统都会向源系统采数，效率不高，对源系统的压力较大。 不能满足后续应用系统快速构建的需要。 每个系统的开发商不同，其数据模型和标准也不同，数据的可用程度降低。 这些缺点，降低了行内数据的数据抽取、数据转换、数据整合、数据加载、数据归档、数据监控调度等，影响了相关部门对数据的管理分析。1.2 项目目标数据中心应用平台项目的目标是： 解决目前我行各业务系统数据间存在的数据孤岛、数据冗余、数据标准化的问题。 整合所有的业务系统（不仅包括我行现有的系统，还需要考虑到我行以后将要建设的系统）源数据 准确完整地分析我行现有的数据及其流向，为各个业务部门的管理分析提供统一而且完整的数据支持（如数据抽取、数据转换、数据整合、数据加载、数据归档、数据监控调度等） 为今后各个面向主题的分析型应用系统的开发建设提供数据基础和技术基础。 通过实现统一数据视图和数据的服务和共享，提高商业银行企业管理电子化水平。 符合银监会银行监管统计数据质量管理良好标准的相关要求，并配合人行金融统计标准化试点工作的建设。1.3 项目需求项目要完成以下功能需求：1.3.1 数据中心能够方便完成数据处理、数据存储、数据使用、数据备份、恢复等工作的全程管理。提供自动化处理管理机制，能够管理任务调度和查询日志。 数据源整合数据中心应整合的源系统数据有（但不限于）信贷系统、核心系统、财务系统、中间业务、大额支付、小额支付、银联前置、微贷系统、网上银行系统、ATM&POS前置、黄金交易系统、短信系统、第三方存管、支付宝前置、实物票据管理系统、网银跨行转账、电票系统、工商行政验资、支票影像、财税库银、身份核查、柜面通、城商行清算中心、电子回单柜系统、同城票据交换、银医联名卡系统、理财业务系统、渠道平台。能基于数据中心管理业务系统产生的新的数据。针对缺失的数据1、 能提供手工补录功能。2、 能够分析缺失数据的源头并针对数据源提出合理的改造方案。 数据抽取采用先进的ETL工具，将不同数据平台、不同源数据形式、不同性能要求的源数据数据抽取到数据中心系统中。在数据抽取时需要重点考虑数据抽取的效率，以及对现有业务系统性能及安全的影响。数据采集过程应该是自动化的，在每天业务系统日结完成后立即自动化进行数据采集，不需手动出发。避免抽取过程中源系统发生业务而导致抽取数据差异问题。 数据转换对从不同数据源采集到的数据，根据数据模型的要求，进行数据的转换、清洗、拆分、汇总等处理，保证来自不同系统、不同格式的数据的一致性和完整性，为应用平台提供高质量的数据服务。项目前期确定数据转换的粒度和规则。 数据加载采用高效的加载性能数据加载工具，将处理加工后的数据载入数据中心。 历史数据归档数据中心的建设应充分考虑行内至少20年的历史数据的存储及在线查询。 统一监控调度数据中心做为全行的数据交换中心，是一个非常庞大的系统，其投产后的运转情况均是自动化的，那么必然需要一套合理的、健全的、成熟的、统一的监控调度策略，以保证整个系统安全、稳定、简单的运行。1.3.2 金融数据模型l 建立高度抽象、实用的数据中心模型：数据中心项目对数据模型要求较高，数据模型的合理与否将关系到项目的成败，因此必须选择先进合理的建模理念，紧密契合已有业务系统，深刻了解银行业务和核心系统，建立高度抽象、实用的数据中心模型。l 建立适合商业银行的指标库体系。l 数据中心模型的建立应充分考虑下列应用（但不限于）对数据的使用： 综合报表系统（1104报表、人行大集中报表、人行利率报表、人行金融稳定报表、人行理财产品统计报表、人行反洗钱报表、人行支付报表、国际收支申报报表、其他监管类报表以及行内报表） 行长决策系统（领导驾驶舱） 财务管理系统 管理会计系统 绩效管理系统 非现场审计系统 操作型客户信息系统（OCRM） 分析型客户关系管理系统（ACRM） 银行风险管理系统1.3.3 数据分析及业务应用展现通过先进的展现工具及多样化的展现方式，向用户提供灵活而强大的查询、统计、分析功能，并按要求生成报表。在数据中心基础上需要建立的业务应用包括： 综合报表系统（1104报表、人行大集中报表、人行利率报表、人行金融稳定报表、人行理财产品统计报表、人行反洗钱报表、人行支付报表、国际收支申报报表、其他监管类报表以及行内报表） 行长决策系统（领导驾驶舱）（要求支持移动应用） 元数据管理建立有效的元数据管理平台，保证系统与业务的运作保持同步并且根据市场和业务需求的变化随时作出调整，一旦业务需求发生改变，用户可以通过对元数据的维护使系统的运行作出快速的响应。 数据质量管理建立有效的、可视化的数据质量管理平台，能够通过建立检验规则，对源数据质量进行持续监测，并自动生成数据质量管理报告；能够实现可视化的数据追溯展示，清晰展示数据指标与源数据之间的逻辑关系。第2章 解决方案概述2.1 数据中心应用平台我们建议商业银行以业界通用的数据仓库理论来建设数据中心应用平台项目，数据仓库之父HWInmon是这样定义数据仓库的：数据仓库是一个面向主题的、集成的、不可更新的且随时间不断变化的数据集合。数据仓库是基于大规模数据库的决策支持系统环境的核心。它具有以下特征： 海量数据 （TB 级）：包括来自于不同数据源的不同粒度的信息 面向主题：面向业务分析人员、管理决策者关注的主题（或者说分析目标） 集成性：将多个数据源异构数据按统一的结构和规则进行数据抽取、转换、清洗、装载 时序性：数据仓库中的时间期限要远远长于操作型系统中的时间期限，比如一些应用数据保留510年。数据仓库中的数据是一系列某一时刻生成的复杂的快照。 持久性：除了记录变化时间的之外，一般不对业务数据做修改。而独立的ODS或者数据集市是为满足已定义的用户组或业务领域对于特定业务信息的需求而创建的。它们比数据仓库更小且更关注在数据中构建复杂的业务规则来支持功能强大的分析。我们建议的数据中心应用平台是由ODS，数据仓库和数据集市统一构成，建立在企业级的数据模型之上的。ODS是数据仓库的数据准备区域，重点完成数据的整合与转换，数据仓库完成数据的内容整合与