带库应用技术基础篇.pdf

第 1 页带库应用技术基础篇伴随着广电行业的飞速发展， 全台网所承载的信息量在急剧的膨胀，媒体数据长期归档保存的需求也在不断增加磁带做为一种特殊的存储介质，一直充当着近、 离线存储的角色尽管现在充斥着各种声音，但在基于磁盘的、能源节约型的、操控方便的新型存储出现之前，相信其在这一存储环节的地位不会被动摇在广电行业， 本土化的带库应用研究起步较晚，对带库的工作机制了解的并不深入， 特别是在前线打拼的同仁们， 可能对带库的认识基本还停留在业务层面本人借在CCTV 新址项目工作的机会，组织整理了一些相关材料，以供开发线和项目线的同仁们参考本文分为四部分：磁带常识、带库技术、磁带技术和纠错机制磁带常识部分主要是认识一下磁带，围绕着外观、 条码、磁带信息和寿命几个方面来介绍 带库技术部分主要是介绍带库各组件，重点讲解带机工作原理 磁带技术部分主要介绍磁带上的数据记录方式，重点讲解 LTO 技术最后一部分介绍磁带数据完整性的保障机制一、 磁带常识根据我们的行业应用特点， 这里主要介绍一下在媒体数据长期保存业务中经常用到的LTO 磁带第 2 页（一）磁带简介LTO 磁带是一款单卷轴磁带 磁带盒长 10.2厘米，宽 10.5厘米，高 2.2 厘米，内装半英寸（ 1.26厘米）宽磁带。

伴随着 LTO 技术的发展，磁带的容量和访问速度都在不断提升，目前已经发展到第四代，即 LTO4 磁带：磁带长820 米，裸容量800GB，最高支持 120MBps的访问速度详细的磁带规格见下表属性LTO1 LTO2 LTO3 LTO4 发布日期2000年2003年2005年2007年裸容量100GB 200GB 400GB 800GB 速度 (MBps) 15 40 80 120 Tape Length 609m 609m 680m 820m Tape Tracks 384 512 704 896 下面结合磁带外观，对其做进一步的认识，如下方向指示（ arrow）带库内部存在三个可以放置磁带的区域：机柜内侧的磁带槽、 驱第 3 页动器和带库前面板处的离线盒 前两处区域磁带的放置一般通过机械手自动完成，沿着方向标识插入相应槽位，即条码标识面外露 离线盒区域的磁带放置一般通过人工完成，这时方向标识要面向操作者，即条码标识面不外露 总的放置原则是：条码要面向机械手，因为条码信息的读取要通过机械手来完成条码区（ label area ）磁带的背端（一般与写保护开关同侧）有一略凹的矩形区，用于粘贴条码标签。

磁带本身也会携带唯一标识信息，存于带盒上的记忆芯片之中，但仅供生产厂商内部使用所以，外部贴置条码很好的解决了磁带在应用层面的唯一标识问题条码贴置不存在方向问题， 但一般建议的贴置方法为：方向指示面沿箭头指示向外（或向上）放置磁带，条码区面向操作者，标签纸正向粘贴侧边凹口（ notch）磁带两侧靠近背端处有两对凹口，用于伺服装置固定磁带 机械手通过夹握第一对凹口， 将磁带送进或拉出驱动器； 驱动器通过夹握第二对凹口将磁带拉入其内部并固定到正确的位置侧边滑门（ sliding door）磁带侧面前端处有一滑动门，这是磁头读写磁带的位置 滑动门由驱动器操作， 不要试图人工打开滑动门， 否则可能会对磁带造成污染或损坏滑动门内部机关重重，首先有一个滚动导销，当磁头工作是，导销将磁带拉出带盒，贴近磁头当磁带轴转动时， 磁带经过导销可以平滑移动；其次有一个磁带固定装置，避免磁带松动第 4 页错装保护（ mis-insertion protection，图中未标识）尽管磁带盒上有方向标识，但这也不能完全避免操作者错装磁带鉴于此，磁带盒在方向标识面的边缘削出一个斜面，前薄后厚；同样，磁带槽也有相应的设计。

只有磁带和槽位的两个斜面完全吻合，磁带才可以顺利的完全放置进槽位在今天看来， 磁带盒一切的设计都是那么的理所应当但就是这小小磁带盒汇集了多项专利技术，一个凹口，一个斜面，甚至是一个标识二）磁带条码所有数据带、 清洗带和诊断带都必须带有条码标签，否则磁带库无法正常工作 条码标签随磁带销售，但一般需要用户自己粘贴条码格式如下在条码两端有空白区： Starting quiet Zone和 Ending quiet Zone 第 5 页Start Character标识条码信息的开始Stop Character标识条码信息的结束中间是 6个字符的卷标识， 也就是我们可以在标签纸上可以看到的 6 个稍大些的字符还有两个小一些字符， 标识介质类型，以 L1 为例，L 标识 LTO磁带， 1 标识第一代磁带通过磁带条码中的卷标识，我们可以明显的分辨出磁带类型：数据带、清洗带和诊断带卷标识的定义遵循Automatic Identification Manufacturers (AIM) specification 数据带的卷标识由 6个字符组成，仅限于 A—Z和 0-9这些 ACII字符清洗带的卷标识格式： CLNUnn 或 CLNvnn。

CLNUnn 标识通用的清洗带， CLNvnn 标识专用清洗带诊断带的卷标识格式：DG(space)vnn （三）磁带信息磁带盒左后端（靠近条码区）装配一记忆芯片—串行 EEPROM（LTO-CM ） ，用于保存磁带相关信息：厂商信息、磁带标识、用户数据信息和磁带使用统计信息等该记忆芯片具有4096字节的容量，划分为 128个数据块，每个数据块32 个字节记忆芯片配有非接触第 6 页性无源射频接口， 磁带驱动器通过产生低压射频场来对记忆芯片进行读写操作 LTO-CM 的信息也可以通过外部专用工具读出，下面是一些示例数据Serial Number 是磁带标识，在磁带出厂时写入，外部程序只读 Volume ID 是磁带条码，该信息数据属于应用程序相关数据，即由应用程序写入（但从文档上看，似乎无 SCSI指令支持该字段的写入， 该处存疑） 对于应用来讲， 对磁带的使用统计信息至关重要，其中涉及到加载次数、磁带读写错误统计信息、伺服装置操作错误信息等应用程序需要定期监测这些错误信息，当超过一定门限时，磁带数据需要做转移处理，而后磁带作废四）磁带寿命磁带采用高耐用材料制成，但反复使用仍可能导致磁带磨损，从而增加读写错误率。

为保证数据安全，磁带会有使用寿命的限制，参考数据如下：数据长期保存15—30年磁带装卸 5000次第 7 页磁带全程读写200次为最大程度延长磁带使用寿命， 厂商给出一些磁带应用方面的建议：一、磁带容量不要用满，使用50%的容量能延长一倍的寿命，这主要得益于磁带数据的分布方式，这在后面会提到；二、利用带机自身的“写后读” 技术对磁带数据做验证，不建议应用层对磁带数据重新读出做验证；三、充分发挥LTO-CM 信息的作用，对错误率超过一定门限的磁带及时做数据转移处理；四、全程写操作对磁带寿命影响较大，建议一周不超过四次全程写，每月不超过17 次全程写二、 带库技术（一）带库组件带库内含主控模块、机械手、磁带槽和磁带机等基本组件带库用于支撑高容量存储应用，一般由多个机柜组成， 根据机柜的功能不同， 可划分为基础柜和扩展柜 每个机柜都可以装配磁带机和磁带槽，机械手可以游走于任何一个机柜，但主控模块只装配在基础柜 核心组件介绍如下：主控模块主控模块是带库控制/状态链路的核心组件，实现各个槽位状态的检测；控制机械手， 完成磁带检测和磁带迁移；检测磁带机状态及相关固件信息；实现带库的管理与监控第 8 页磁带机磁带机是带库数据链路的核心组件，实现磁带的加载与卸载， 完成磁带数据的读写操作，其工作原理会在随后做专项介绍。

机械手磁带介质便捷迁移，这使得带库能够成为高容量、绿色型存储，机械手则是完成磁带迁移的核心组件在主控模块的控制之下， 机械手能够完成磁带在磁带槽、磁带机、离线盒之间任意位置的移动此外，机械手上装配有条码阅读器，能够获取磁带卷标识，并传送给主控模块根据带库提供给应用主机访问主控模块的链路的不同，存在两种带库架构：单路径架构和多路径架构，见下图多路径架构带来的优势主要体现在两点：（1）应用主机可以通过任何一条带机通路来访问主控模块，这样，任何一个通路出现问题都不会中断主控模块的正常工作；（2）为多个应用主机共享带库提供了条件，无需再开发中间件第 9 页来串行化对带库的操作带库分区应用正是基于了此项技术二）带机原理磁带机是以磁带为记录介质的数字磁性记录装置，它由读写磁头、读写电路、 磁带传送机构、伺服控制电路和有关逻辑控制电路等组成，如下图所示：磁头简介磁带加载到带机内部后， 磁带侧面滑动门打开， 内部滚动导销将磁带拉出带盒， 并贴近磁头 在伺服装置的带动下，磁带经过磁头高速移动，从而完成磁带数据的读写第 10 页目前，磁头都可以实现多个磁轨的并发读写，这通过在磁头上装配多个磁头元来实现如上图所示，图中磁头装配了32 个磁头元，分为向后两排，这称为2x16 磁头。

两排磁头元的设计主要基于以下考虑：（1）一排做为写磁头元，另一排做为读磁头元，在前一排写磁头元完成数据写操作后， 后一排的读磁头元紧接着做数据校验，这就是“写后读”技术的基本实现方式2）读写磁头元的角色会反复转换，当磁带正向运动时，前排磁头元实现写操作，后排磁头元实现读操作；当磁带反向运动时，后排磁头元实现写操作， 前排磁头元实现读操作 磁带还会反向运动进行写操作吗？这在后面还会解释，这正是 LTO 的线性蛇形记录技术磁头不仅实现数据读写，而且还承担着磁带寻址的工作，这通过磁头的伺服传感器和磁带上的伺服轨道来配合完成磁带私服轨道后面还会详细介绍，简单的打个比方，伺服轨道类似于高速路上的行车线下面结合右图讲一下私服传感器磁头一般配装四个伺服传感器： Top servo 0(TS0)、Top servo 1(TS0) 、Bottom servo 0(BS0)、Bottom servo 1(BS1)磁头基本与磁带的单个数据区同宽，这样，磁头就可以在两个伺服轨道上运第 11 页动，从而增加寻址的可靠性TS0 和 BS1 配合完成正向寻址， TS1与 BS0 配合完成反向寻址假设伺服轨道上标有6 个伺服位置，则磁头的运行轨迹如下：。

从上图可以看出， 基于一条 6 个伺服位置的伺服轨道， 一个配备4 伺服传感器、 2x16 磁头元的磁头可以完成192(6x2x16)条磁轨数据的读写读写电路磁带机的读写电路主要由主处理器、伺服控制器、 数据缓存、主存储器、编码电路等几部分构成伺服控制器主要实现对磁带卷动电机、磁头移动装置、 磁带装载电机、磁头清洗电机等伺服机构的控制，同时还处理磁头获取到的伺服轨道信息，实现磁带的寻址主处理器实现对整个系统控制与管理，重点实现数据的编解码与验证工作 下面结合数据缓存和主存储器，重点讲解一下写数据的工作流程1）应用主机通过光纤通道向磁带机发送数据，数据首先到达数据缓存 数据存储是一种高速存储器 （采用 SSRAM） ，主要用于和光纤链路进行速度匹配，容量一般为4MB第 12 页（2）主处理器从数据存储按记录单元（一般为256KB）读取数据，增加 CRC 校验码和奇偶校验位，然后将数据写入主存储3）主处理器从主存储读取需要写入磁带的数据主存储的存在，主要是为磁头提供稳定的数据流，一般容量为256MB4）主处理器将数据加入RS 纠错码，然后传送给编码电路5）编码电路目前主要采用部分响应完全匹配技术（PRML） ，编码信号传递给磁头。

6）磁头将电信号转化为磁信号，实现磁带的磁化写操作（7）磁头在进行写操作的同时，会随后将已写数据读出，传递给主处理器，主处理器对数据进行RS校验，若发现数据错误，则执行重写操作三）编码方式磁头的工作过程是一种电磁转换的过程读写电路形成的驱动磁头的电流波形的方式称为记录方式记录方式实际上是一种编码方式，它是按特定规律将一串二进制数据转化为一定波形的电信号，。