“两地三中心”实现业务连续性新飞跃.docx

两地三中心”实现业务连续性新飞跃作者：吕仲涛来源：《中国金融电脑》 2015年第9期工商银行“两地三中心”新架构建成后，信息系统可在三个中心之间安全快速切换，各中 心基础设施资源得以高效利用，同时建立了跨中心一体化运维管理模式；从支持异地灾难恢复 向全面支持多活的业务连续性模式转变，数据中心建设保障和管理水平实现质的飞越；灾备恢 复和切换实现了分钟级业务影响以及业务数据的零丢失；信息系统部署架构从应对小概率的灾 难恢复模式，向全面支持计划内、计划外和紧急失效场景转变，全面提升了工商银行的业务连 续性管理水平工商银行自2009 年启动“两地三中心”工程建设以来，在无现成解决方案和经验可以遵 循的情况下，历经5 年技术攻关，从无到有，成功完成“两地三中心”架构布局建设，成为国 内首家实现核心业务跨数据中心分钟级切换接管的商业银行工商银行“两地三中心”架构平 稳运行一年多来，已实施中心之间的例行化切换接管和一体化的运维管理，“两地三中心”新 架构的建成强化了工商银行信息科技在国内同业的领先地位一、“两地三中心”架构建设思路“9・11”事件后全球企业对核心系统灾难体系建设高度重视，工商银行在2002年完成全 行数据大集中后，立即开展了异地灾备体系建设，仅用时一年就在同业中率先建成了上海与北 京之间的千公里级异地灾备体系，在国内银行业中开启了异地灾备体系建设先河。

但中国工商 银行股份有限公司信息科技部总经理 吕仲涛随着技术发展和金融服务需求不断提升，在工商银 行全球化和综合化的战略推进中，银行业务结构和业务系统复杂度的日益提高，以及业务量的 快速增长，均对信息系统的业务连续性提出了更高的要求，任何非计划性的大面积乃至全辖性 业务中断都将带来巨大的财务和社会声誉损失在此背景下，工商银行在2009 年率先提出了 建设“两地三中心”的战略构想，计划用5 年左右的时间逐步推进实施随后的一段时间内， “两地三中心”建设逐渐成为银行业界的热点话题，但真正的“两地三中心”架构应该是什么， 怎么建设，怎样运营，如何避免简单的灾备中心叠加，逐步成为业界共同探讨的热点课题为 此，工商银行在建设初期就进行了深刻的思考和规划一是，“两地三中心”架构与原“两地二中心”灾备架构相比，不是中心数量的简单增加， 也不是资源配置的简单冗余，而是要在中心功能定位、资源集约化使用、灾备恢复时间（RTO） 和灾备数据丢失时间（RPO）等核心指标方面有质的飞跃，实施关键业务系统在中心间双活部署, 从而实现从灾备到业务连续性的跨越式发展二是，“两地三中心”架构不仅能应对灾难恢复，还要能在日常场景中发挥作用。

如在系 统维护变更和应用版本投产过程中发挥作用，减少对外停机时间，提升关键应用整体可用率 对于关键系统故障可通过系统切换快速恢复对外服务三是，“两地三中心”应是一个全面的解决方案，要提出基于业务重要等级要求实现核心 主机应用和关键开放平台应用的差异化解决方案，确保全面实现应用的双活部署架构新架构 首先要实现同城高可用，当关键业务系统出现故障或灾难时能快速切换到同城系统中，并实现 业务数据不丢失同时，同城双中心还要具备业务双活能力，实现资源灵活调度和使用效益最 大化四是，从技术架构角度，新架构要最大限度降低各中心之间信息系统耦合度，避免单中心 信息系统问题蔓延到其他中心从而影响接管能力双活系统跨中心部署时不能对性能带来较大 影响，减少生产隐患和资源消耗同样，双活方案要具备一定的业界普适性和推广性五是，“两地三中心”架构建成后，在运维管理方面同样要有质的提升，真正实现三中心 的一体化运维管理，建立一体化运行保障体系二、“两地三中心”架构建设历程工商银行启动“两地三中心”建设时，国内同业相关工作还未起步，国外虽然有一些解决 方案，但普遍系统规模较小，无法满足工商银行对于“两地三中心”架构的高标准要求。

面对 挑战，科技人员不畏艰难，利用自身科技优势走出一条自主研发的道路，用了5 年左右的时间 完成了真正的“两地三中心”建设2009 年，工商银行启动了“两地三中心”数据中心新架构建设工程，通过两年时间的广泛 调研和技术研究，在2011 年8 月最终确定了技术路线和方案，随后再用一年的时间完成了关 键技术和方案原型的测试验证工作2012 年10 月原型系统在生产环境成功投产，并利用原型 系统在应用版本投产期间提供自助渠道夜间业务服务，标志着工商银行“两地三中心”建设正 式进入实施阶段随后，项目建设相继又取得一系列的里程碑式的成果：2013 年10 月利用生 产中心双园区模拟未来同城双中心，完成核心主机系统和高灾备等级开放平台系统的双活部署； 2013 年11 月成功实施双园区核心主机业务分钟级切换，运行24 小时后成功回切；2014 年3 月嘉定同城中心园区和机房基础设施建设完毕；2014年6 月完成同城系统迁移后又成功实施同 城双中心核心业务分钟级切换和回切，完成高等级开放平台应用全部双活部署和切换运行，标 志着“两地三中心”新架构基本建成在工程推进过程中，工商银行整合科技团队，立足自主创新，在确保数据实时同步、联机 及批量负载敏捷调度、全自动智能化感应处置等三个方面开展技术攻关，取得了一系列技术突 破。

一是对数据复制进行端到端全过程抽丝剥茧，定位了9 大技术难题并逐一攻关，实现高效 多路并行数据复制，综合运用数据库复制、磁盘复制、网关日志截留、应用数据回补等技术， 确保核心主机在超高联机交易率及批量负载下实现7X24小时不间断数据复制并实现零数据丢 失针对关键开放平台系统，创造性地将数据库异步复制和磁盘同步复制结合起来，实现同城 数据复制的零数据丢失二是对目标负载调度进行分类分层，根据不同负载实施针对性改造，完成总体负载调度目 标，可以将全行联机交易在没有数据丢失情况下在几分钟内切换到另一中心运行，高等级开放 平台应用根据服务等级要求可实现几分钟至30 分钟内完成中心间切换并提供对外服务自主 研发一套完备的联机安全切换调度流程和工具，实现集中化调度和统一控制各类联机交易负载 核心主机自主实现了基于数据复制状态的全自动联机交易调度，设计实现了基于磁盘挂接和一 体化批量系统调度切换方案和工具开放平台应用实现“异地多活”和“同城双活”两种模式， 实现大量开放平台交易负载在多站点之间灵活调度三是自主设计和研发了一套全链路一键式自动化调度切换平台，将各环节和系统上的数百 步操作归集封装，实现一键式自动化执行调度。

设计实现了运维自动化工具平台，将“两地三 中心”运行状态统一视图展示，实现三中心统一监控和统一处理特别针对众多的开放平台应 用系统，实现了数据库单体切换、应用系统整体切换、多个应用并行切换等多种方式此外， 针对同城双活架构的关键部件首创了一套高可用保障方案和工具，实现了智能化的“异常主动 探查+ 自动恢复”策略，并在生产环境中落地部署，实现对系统运行状态的自动检测和故障时 的自动恢复工程总计开展了38 大项技术和方案研究工作，涉及 108 项应用改造子任务，开展了210 轮针对“两地三中心”解决方案的测试验证工作，解决各类产品技术问题近 500 项，投入人力 3 万多人天同时，技术创新成果显著，共计取得 18 项技术创新，提交了 13 项国家专利申请三、“两地三中心”架构价值效果工商银行“两地三中心”新架构建成后，信息系统可在三个中心之间安全快速切换，各中 心基础设施资源得以高效利用，同时建立了跨中心一体化运维管理模式；从支持异地灾难恢复 向全面支持多活的业务连续性模式转变，数据中心建设保障和管理水平实现质的飞越；灾备恢 复和切换实现了分钟级业务影响以及业务数据的零丢失；信息系统部署架构从应对小概率的灾 难恢复模式，向全面支持计划内、计划外和紧急失效场景转变，全面提升了工商银行的业务连 续性管理水平。

其业务价值具体表现在以下几个方面一是业务连续性管理水平实现跨越式发展由于实施了同城之间的双活灵活切换，实现了 系统维护变更对外全年无停机，应用版本投产时业务的中断时间大幅度缩短可有效应对局部 自然灾害和系统突发故障等应急情况在中心级故障或灾难场景下，核心主机系统可实现分钟 级同城切换接管，关键开放平台根据等级实现了分钟级异地切换接管或同城切换接管在大的 区域性灾难时又具备了千公里级的异地灾难恢复能力工商银行的业务连续性管理水平实现了 跨越式发展，有力地保障了业务发展二是业务创新能力大大增强两地三中心”架构下同城双活为开展信息系统的增值服务 提供了技术基础在信息系统处理传统交易型业务的同时，利用同城中心同时拥有的全量业务 数据，可处理部分内部管理、经营分析、风险监控、数据挖掘等业务，从而更好地满足工商银 行客户服务和内部管理多元化和时效性要求，业务创新能力大大增强三是实现了资源使用效益最大化，有效节省了工商银行科技投入实现业务负载的动态均 衡机制核心系统交易负载增加时，可以将部分查询交易从核心系统自动切换至并行系统运行， 实现整体负载均衡，提高资源利用效率对双活部署的开放平台，应用常态下，在同城两中心 之间进行负载均衡处理，对全量应用分类梳理实现差异化双活部署，在节省成本的同时实现了 全面的灾备高可用布局。

四是保障了业务的全球化发展两地三中心”新架构的最终建成，为工商银行多时区全 球业务的不间断业务服务提供强有力支撑，为全集团全球化战略发展提供了更加稳定高效的信 息化平台，进一步提升工行品牌价值和客户凝聚力四、未来展望工商银行“两地三中心”新架构建成一年多来，同城系统运行稳定可靠，一体化运维管理 体系高效运转，配套制度、规范和流程日趋完善通过充分利用核心主机系统和关键开放平台 系统的同城和异地双活架构实现各类系统类维护对外服务无影响今后，工商银行将每年安排 若干次临时通知启动同城接管切换运行，切实验证同城接管运行能力的有效性在追求信息科技创新的道路上永无止境工商银行并没有满足于已经取得的成绩，将重新 出发，继续做好全集团业务架构和信息架构优化，在自主可控和科技引领的方向上再攀新高 FCC。