基于CDM技术的IT系统数据保护实践.docx

基于CDM技术的IT系统数据保护实践 林岳鑫【摘 要】为了解决传统备份与恢复时效低、大量占用备份资源的问题，通过采用业界最新的数据保护技术，分析了各种现有数据保护技术的优缺点，并提出了快速恢复的方案经过实践验证了CDM技术的高效性，既提升了业务系统的保障水平，又降低了备份资源的使用，为IT系统特别是大规模生产系统的数据保护能力建设提供有益的借鉴关键词】数据保护 CDM 快速恢复IT System Data Protection Practice Based on Copy Data Management Technique[Abstract] In order to tackle problems of the low real time and massive backup resource occupation of the traditional backup， the state-of-art data protection technique in the industry was used to analyze advantages and disadvantages of existing data protection techniques， as well as a fast recovery scheme was proposed. The high efficiency of copy data management （CDM） was validated by the practice. CDM technique not only enhances the guarantee level of the service system， but also reduces the utilization of the backup resource to provide a useful reference to the data protection capability construction of the IT system and the large-scale production system.[Key words]data protection copy data management fast recovery1 現状及问题某运营商系统每套核心生产数据库均有10 TB数据量，采用传统的数据备份解决方案。

基于传统的数据备份方案进行灾难恢复，配备与备份一致的基础环境下，数据恢复需要接近12 h某运营商的这套备份系统存在大量的冗余备份数据这些数据在收集、存放、保管等环节都极大地消耗了系统维护的人力和物力，而备份和恢复的效果却远远达不到运营商对RTO（Recovery Time Objective，复原时间目标）和RPO（Recovery Point Objective，复原点目标）的要求2 建设目标对于生产系统来说，RTO要求是半小时，即在任何停机情况下，维护人员需要在半小时内实现业务的恢复IT系统面临着各种各样的停机风险，这些风险都可能造成业务系统非计划内停机，如各种灾难事件、各种人为错误、各种系统错误等通过对这些事件进行分析，可大致分为小概率机房级故障和大概率机房内故障两类2.1 小概率机房级故障小概率机房级故障如火灾、水灾等事件这类事件发生的概率很小，但影响范围至少是机房级的，甚至是地区级的，即整个机房内运行的业务系统都会受影响2.2 大概率机房内故障大概率机房内故障如各种逻辑错、物理损坏等这类事件发生的概率较大，是各种业务系统非计划停机的主要因素，但影响范围主要是系统级的，即一般是单个业务受影响。

某运营商IT中心在业务连续性保护方面的建设主要包括容灾系统和备份系统第一类事件由容灾系统进行业务系统的保护；第二类事件原规划是由预期容灾和备份的结合进行保护但在实际中容易出现以下问题：（1）容灾系统处理单个业务停机时非常困难例如，一个数据库停机了，如果通过容灾技术在容灾端进行切换，那么应用服务器是否切换？如果不切换，则生产端的应用服务器和容灾端的数据库之间的网络延迟会造成很大业务影响；如果切换，则其他应用和这个应用之间的依赖关系会造成严重问题2）容灾系统是基于数据实时复制实现的，所以它并不能处理各种逻辑错误例如，生产端被误删除一张表，容灾端的数据也立即被删除3）数据库的数据量都是TB级的备份系统在进行恢复时耗时过长，一般需要几个小时甚至以天为单位才能完成恢复，与半小时的RTO要求差距较大基于上述现状，某运营商IT中心希望建设一个快速恢复系统，从而弥补容灾系统和备份系统的不足，如表1所示3 各种数据保护技术的研究和比较为了解决上述问题，某运营商IT中心对市场上现有的各种技术进行了分析研究3.1 传统备份软件技术传统备份软件是基于磁带技术为核心发展起来的，数据备份集格式采用的是适合流媒体介质的格式，适合批量的顺序写（备份）和读（恢复）。

传统备份技术的发展主要体现在两个方面：一是备份介质的发展；二是备份数据获取技术的发展1）备份介质发展历程物理磁带库：通过使用更多数量、更加高速的磁带驱动器，一个备份作业同时利用多个驱动器的技术，以解决业务系统数据量越来越大带来的备份窗口的挑战VTL（Virtual Tape Library，虚拟磁带库）：VTL的出现解决了磁带较容易损坏的问题，同时由于重复数据删除技术的出现，极大地降低了VTL的总体成本虽然VTL使用磁盘，但是其内部的数据格式、数据管理、对外接口等和物理磁带库是相似的，因此VTL在备份和恢复的速度上并不能超越物理磁带库 备份一体机：传统备份软件进行安装时，需要配置管理服务器、介质服务器、备份客户端备份架构、维护的复杂度较高备份一体机将虚拟磁带库和备份软件整合在一起，组合成软硬件一体化的设备，简化了备份架构并降低了维护的复杂性但备份一体机的优势主要在管理及运维上的简化，而没有在备份和恢复的速度方面有所改进2）备份数据获取技术备份数据获取技术可以概括为以下三类：LAN（Local Area Network，局域网）备份：如图1所示，备份数据通过IP网络从生产服务器传输到备份设备。

LAN备份方式一般用于数据量较小的应用LAN-Free备份：如图2所示，备份数据通过FC网络从生产服务器传输到备份设备LAN-Free备份方式一般用于大数据量的应用Server-Free备份：如图3所示，采用上述备份方式均需要生产服务器长时间进行备份，导致大量的IO资源消耗，影响生产稳定Server-Free备份基本不需要生产服务器参与整个备份过程，其实现方式是备份设备直接从生产存储获取数据（生产存储对应用数据做快照）后挂载快照，再将快照备份这种方式能将备份的资源消耗从服务器转移到存储上，从而减少对生产的影响Server-Free备份方式需要存储系统的支持虽然备份软件一直在优化进步，但远远跟不上数据量增长的速度以及业务对数据恢复的要求以10 TB的数据库为例，如果备份设备硬件配置高，则可以达到2 TB/h，即需5 h实现全量备份在这个速度下，生产服务器的资源消耗巨大，且10 TB数据的恢复时间至少要10 h以上3.2 CDP技术从功能上看，CDP（Continual Data Protection，连续数据保护）比较适合解決前述备份软件的问题它能提供数据备份，快速恢复数据CDP的原理是通过截取生产应用的写操作并传输到CDP设备中，将写操作按次序保存下来。

当需要恢复时，CDP可以根据这些写操作虚拟出一块磁盘，再挂载给服务器CDP技术减少了传统备份在恢复时需要将数据从备份设备恢复到目标存储的过程，实现分钟级的恢复，恢复时间和数据量的大小没有关系，也不需要有专门的备份窗口由于保存了写操作，所以它可以恢复到任意时间点但CDP技术在架构上有一个很重要的前提是：它必须集成到生产系统的IO链路中，并以同步方式截取写操作它必须保存写操作的顺序，也不能有任何写操作的缺失，所以这个写入CDP的操作和生产系统的写操作必须是一个同步的关系这样会极大地影响生产系统的IO性能，同时也要求CDP存储的性能必须要和生产存储的性能是等同的，对成本的要求极高，如图4所示：由于客观条件的限制，CDP技术在推出多年之后仍然没有取代传统备份技术它在中小企业IT系统中使用较广泛，但较少在大型企业的核心系统中使用3.3 Oracle零数据丢失一体机Oracle零数据丢失一体机是Oracle于2015年推出的最新技术，它能实现数据库的永远增量方式备份，结合日志传输技术，数据丢失量可以达到秒级Oracle零数据丢失一体机技术可极大地减少备份时间，有效解决了传统备份软件的备份时间窗口等问题，如图5所示：但从数据恢复的角度来看，它仍然没有解决恢复时效问题，同样需要将数据从一体机内恢复到生产环境，如图6所示。

并且它只支持Oracle数据库，不能支持其他数据库、文件系统和虚拟机等3.4 Oracle数据库复制技术数据库复制技术（如Oracle的Data Guard）是通过实时传输数据库日志实现数据复制的这种技术主要用于防止灾难事件发生，即生产数据库因灾难事件（如火灾、存储宕机等）发生停机，目标端的数据库可以快速接管业务其原理如图7所示数据库复制技术需要在目标端数据库上不断请求日志，从而尽可能地使目标端生产库和生产数据库保持一致因此，这种技术并不能应对逻辑错、人为错等需要恢复到历史时间点状态的错误3.5 CDM技术如图8所示，CDM（Copy Data Management，复制数据管理）技术是一种创新型的备份技术Gartner认为在两个场景中可以提供非常高效的解决方案：一是备份恢复的现代化；二是开发测试环境的快速搭建CDM的核心技术是备份出来的数据格式是原始格式，即备份数据可以直接挂载给目标服务器实现分钟级恢复，和数据量的大小无关，这是和传统备份软件最大的区别由于备份数据是原始数据格式，并且存放在磁盘上，所以它可以根据新的增量数据和已有的全备数据，在备份系统内合成新的全量备份，从而实现永远增量备份。

由于CDM本身是备份技术，所以它可以应对各种宕机场景，包括逻辑错、人为错等大概率小事故增量备份和增量合成功能可以极大地降低备份窗口以及备份时系统资源的消耗并且它还可以实现分钟级的恢复时间，满足业务对恢复的时间要求3.6 小结综上所述，当出现业务需求但生产系统出现问题时，可以快速实现恢复，包括逻辑错、人为错等大概率小事故各技术对业务保护的满足程度具体如下：（1）传统备份软件技术：在大数据量情况下，备份、恢复时间都过长2）CDP技术：可以实现业务需求，但对生产系统影响大3）Oracle零数据丢失一体机：永远增量备份功能可以解决备份窗口问题，但恢复时间过长4）Oracle数据库复制技术：主要实现容灾功能，无法解决逻辑错、人为错等问题5）CDM技术：可以实现业务需求、分钟级恢复、永远增量备份功能解决备份窗口问题由于它是备份技术，因此对生产系统的影响小 4 项目实践某运营商IT中心通过对上述各种数据保护技术综合分析后，选择了CDM技术进行应用，在开展严谨的POC测试后才进行选型、建设系统上线后，实现的效果符合预期4.1 CDM实践方案工作原理如图9所示，在恢复过程中，当需要恢复某个时间点的备份时，CDM主机会在系统内部做一个指针式快照，然后把这个快照挂载给需要恢复的主机，恢复速度在分钟级别（当某份数据要恢复到多台主机时，CDM主机会做多份快照，多份快照可同时挂载）。

在做归档时，若数据需要保存的时间长，。