存储产品数据快照技术简介
第1章 绪论随着信息化进程的不断深入，企业业务流程的运转越来越高度依赖于数据，使得数据成为了支撑企业运作的重要基石。这些数据既包括分散存储在员工工作站中的数据，也包括集中存储在磁盘阵列中的数据。同时，IT数据大集中的趋势越来越明显，而且业务的运行对数据的依赖程度也在不断增强。1.1 整合存储构建全新的存储网络最初采用分布式存储的最大原因就是可以以部门为单位分开，方便管理，同时节约初始投资成本，但恰恰因为其分布性，导致了不同的系统平台，以及数据格式的不完全统一，因此数据之间的迁移转换更加复杂，需要额外的硬件和软件来支持，而且存储管理员不得不不断地学习各种技术来熟悉管理用户接口，最为关键的是公司没有一整套即时可用数据，因此公司的决策层很难做出实时的决策，对企业的发展和竞争极为不利。最近几年对磁盘存储整合的研究表明： - 一个存储管理员能管理大约100GB的非集中化存储设备- 物理上合并的存储设备能成倍提高存储管理的效率- 集中存储设备能提高存储管理效率一个存储管理员能管理大约750GB的集中存储设备集中化的存储管理的优势不仅如此，更重要的是其提供了一种非常有效的经济的存储管理解决方案，对于磁盘阵列来说，只有一套管理系统，就可以极为方便地进行磁盘监控和性能调试，而且增加或者重新配置磁盘也变得非常简单，最大化的合成集中设备，更是使得存储系统的宕机风险降到了最低，更主要的是一套完善的备份方案就可以有效地进行数据备份及恢复。可见，无论是从存储管理到企业成本，从空间利用率到存储服务支持，集中化存储体现了分布式存储所不能提供的优势。1.2 企业面临的挑战1.2.1 数据安全对于企业赖以运行的数据来说，灾难涵盖了所有可能导致数据遭到破坏的计划外事件都属于灾难的范畴，其中包括自然灾害（地震、台风、火灾、水灾等），企业运行所依赖的服务的中断（电力中断、租用网络中断等），IT系统故障（IT设备硬件、软件故障），人员错误操作，恶意攻击（黑客、病毒），以及恐怖袭击等。大部分企业用户早已充分认识到了数据的重要性，并都采取了必要的保护措施，这些措施在一定程度上提高了数据的安全性和可用性，但它们都还存在比较大的缺陷。常见的数据保护方式有磁带备份和本地RAID保护两种。对于磁带备份，受备份时间间隔的影响，一般会有较大的数据丢失量，而且数据恢复时间相对较长。对于本地RAID保护，它无法抵御火灾、停电、关键设备故障这类发生概率相对较高的灾难。1.2.2 业务连续数据的丢失会导致企业正常的业务运作中断，带来巨大的经济损失、声誉损失、以及客户忠诚度下降等各种损失。而事实上，这样的事故是屡有发生，其后果也是非常惨痛的。IDC统计数字表明，美国在2000年以前的10年间发生过灾难的公司中，有55当时倒闭。剩下的45中，因为数据丢失，有29也在两年之内倒闭，生存下来的仅占16。如何保证大集中数据在各种灾难面前的安全性，以支撑业务的连续性运行就成为了一个现实的问题。1.2.3 “软错误”的恢复业界现在对于容灾都有比较明确的认识，且有比较明确的评定标准，但在实际工作过程中，由于软错误引起的数据丢失也是非常严重的，相应的，如何能够快速恢复就显得更为重要。一般将软错误定义为人为操作错误、应用自身错误、系统溢出、病毒侵袭及黑客入侵等，快照技术的引入正是针对这种软错误的恢复。其通过保留某一时刻数据映像的技术，实现用最短的时间和最低的消耗实现文件系统的备份。第14页, 共14页第2章 快照概述2.1 概述根据全球网络存储工业协会（SNIA）的定义，快照（Snapshot）是对出现在特定时刻的数据的复制。换句话说，快照是一个数据集的静态图像，这个数据集可以是一个处于特定时刻的Oracle数据库或常用文件系统。2.2 数据快照的基本原理从具体的技术细节来讲，快照是指向保存在存储设备中的数据的引用标记或指针。也就是说，快照有点像是详细的目录表，但它被计算机作为完整的数据备份来对待。一般来说数据快照通过两种方式来进行快照的创建，一种叫做即写即拷贝（copy-on-write）快照，另一种叫做分割镜像快照。即写即拷贝快照可以在每次输入新数据或已有数据被更新时生成对存储数据改动的快照。这样做可以在发生硬盘写错误、文件损坏或程序故障时迅速地恢复数据。但是，如果需要对网络或存储媒介上的所有数据进行完全的存档或恢复时，所有以前的快照都必须可供使用。即写即拷贝快照是表现数据外观特征的“照片”。在使用这项技术的情况下，当已经有了快照时，如果有人试图改写原始的LUN上的数据，快照软件将首先将原始的数据块拷贝到一个新位置（专用于复制操作的存储资源池），然后再进行写操作。以后当你引用原始数据时，快照软件将指针映射到新位置，或者当你引用快照时将指针映射到老位置。H3C的数据快照技术使用的就是这种技术，其优势就在于对于能使用相对原LUN较小的空间就能获得数据保护的效果。分割镜像快照引用镜像硬盘组上所有数据。每次应用运行时，都生成整个卷的快照，而不只是新数据或更新的数据。这种使离线访问数据成为可能，并且简化了恢复、复制或存档一块硬盘上的所有数据的过程。但是，这是个较慢的过程，而且每个快照需要占用更多的存储空间。分割镜像快照也叫作原样复制，由于它是某一LUN或文件系统上的数据的物理拷贝，有的管理员称之为克隆、映像等。原样复制的过程可以由主机（Windows上的MirrorSet、Veritas的Mirror卷等）或在存储级上用硬件完成（Clone、BCV、ShadowImage等）。这种技术生成的快照是真实的物理资源，不依赖于原始的LUN，相当于H3C数据快照技术中的TimeMark拷贝，不同的是TimeMark拷贝需要一个额外拷贝的时间，而分割镜像快照是在数据读写的过程中进行数据的实时拷贝。这种技术有一个比较致命的地方就是其无法对较多时间点进行跟踪。对比两种方式，从功能实用性来说，即写即拷贝快照方式使用较少的资源空间达到对多个时间点的数据跟踪及保护，如H3C的TimeMark技术提供了最多255个时间点的数据跟踪能力。2.3 数据快照的价值1. 备份窗口快照可以迅速建立，并可用作传统备份和归档的数据源。而快照建立的时间基本不需要应用主机的宕机及程序中断的时间。2. 恢复窗口快照存储在磁盘上，而磁盘可以快速直接存取，这与磁带较慢的流式存取完全不同。从磁盘恢复比从磁带恢复速度快，而且就差别复制快照而言，还无需复制整个数据集。恢复所需时间也即恢复时间目标（RTO）更少。而且配合应用端的快照代理，可以保障生成的时间点映像是完整的数据集。3. 多个恢复点很多时候由于快照建立时刻延迟而使数据损坏无法恢复。12:00时刻建立的快照对于发生在上午11:59的数据损坏毫无用处。因此，有灵活和频繁的恢复点、或称恢复点目标（RPO）是很重要的。但是快照增多的代价是极大地提高成本。4. 重新确定数据用途用户常常要执行辅助操作，这些操作在生产系统上进行太昂贵或容易引起混乱。这些辅助操作可能包括归档之前的审计、报告、应用或升级测试、数据挖掘，等等。快照为这些操作提供一份接近实况数据的拷贝。第3章 H3C快照技术介绍Neocean IV5000虚拟化数据管理产品（以下简称IV5000）是华为3Com公司推出的全新存储产品，是华为3Com公司“Neocean自适应网络存储架构”的重要组成部分。基于NeoStor数据管理平台，IV5000可在虚拟化异构存储资源的基础上，提供丰富的数据管理能力，如多协议（iSCSI、FC、CIFS/NFS等）支持、数据复制、镜像、TimeMark/TimeView、故障保护、快照代理、SSE（Storage Service Enabler，存储服务使能）等，全面满足用户进一步提高数据可用性的需求。IV5000的快照技术，即TimeMark，就像是对数据处理的建立了“undo（恢复）”保护。通常，当管理员在数据集上进行操作时 (比如重建索引)，为了安全，他不得不在进行每一步危险操作之前，对数据进行完全备份。一旦某个操作导致不利的后果，管理员将还原数据，然后重新进行刚才失败的过程。这显然是非常耗费时间的过程。利用TimeMark快照技术，管理员可以在任何时候为任何虚拟驱动器创建一个“时间点备份”。无论因为任何原因，只要管理员希望将驱动器的状态恢复到“时间点备份”所标识的时间处，他只需要在相应的管理控制台轻点几下鼠标。整个工作就好像在浏览网页时创建“书签”一样，创建“时间点备份”快照和将驱动器恢复到标记时间的状态均可快速完成，有效防止人为误操作、病毒、恶意攻击等“软性”灾难对数据造成的破坏。3.1 概述IV5000的TimeMark技术可以按照策略为逻辑资源创建增量的时间点镜像，即生成的TimeMark仅仅记录前后两次创建TimeMark之间被改变的原数据，而不是对整个数据卷的完整拷贝。如果需要查看某一时间点的数据，则可以使用相应的TimeMark快速重新创建或者恢复数据。l TimeMark可以防止出现软错误，即非灾难性数据丢失，包括软件程序导致的数据损坏、病毒破坏等。l TimeMark可以防止数据受到人为的破坏，比如意外删除文件等。l TimeMark适用于大多数逻辑资源，包括SAN资源、NAS资源、副本磁盘和组。l IV5000支持自动或手动创建TimeMark。l TimeMark支持回滚操作，即把数据恢复到原始状态。通常，管理员在执行每个“危险”操作之前要对数据进行完全备份，若该操作导致数据丢失，管理员可通过TimeMark实现数据的恢复。l IV5000支持TimeMark拷贝，可以使用任何一个已有的TimeMark来创建真实的永久资源，得到创建该TimeMark的时间点的完整数据，并提供给应用服务器使用。l IV5000使用快照资源记录前一次创建TimeMark之后改变的数据，因此快照资源的大小仅仅是源数据卷大小的一部分，节省了系统资源。l IV5000支持为每个逻辑资源创建多达255个TimeMark。达到上限后，最早创建的TimeMark将被删除。TimeView是TimeMark的扩展功能，它把TimeMark当作一个虚拟磁盘，可以在该虚拟磁盘中查看文件的历史状态，还可以把它绑定给多个应用服务器，实现对数据并发、独立的处理。l IV5000的TimeView技术可以将已有的TimeMark作为一个虚拟磁盘来使用，可以查看该TimeMark对应的时间点的数据。l 使用TimeView生成的虚拟磁盘可以绑定给多个应用服务器访问，实现对数据并发的独立处理，即原来的应用程序继续访问数据磁盘，新的应用服务器处理虚拟驱动器中的数据，两种操作同时进行且相互独立。l IV5000生成增量的时间点镜像，节省系统的资源。3.2 TimeMark技术详述3.2.1 COFW介绍TimeMark技术，其核心在于“COFW”（Copy On First Write）技术。通过COFW的数据结构来跟踪数据的变化，以及数据变化后的处理，从而实现TimeMark的数据保护目的。图3-1 COFW技术如图3-1所示，结合COFW技术，TimeMark按照如下过程生成：l 第1步：预设的TimeMark策略满足时，触发生成一个新的“TimeMark”；l 第2步：有新的I/O操作，即有新数据（如上图中数据块2、7、12）写入；l 第3步：首先把新数据要覆盖的数据块的原始数据写入到TimeMark中；l 第4步：新的数据写入生产数据卷；基于COFW技术，IV5000的TimeMark功能可以根据预设的策略把数据的变化情况记录下来，从而为逻
