华为OceanStor 9000 V5 横向扩展文件存储 产品技术白皮书

1、 OceanStor 9000 V5横向扩展文件存储产品技术白皮书OceanStor 9000 V5横向扩展文件存储 产品技术白皮书目 录1 概述52 硬件、软件与网络62.1 产品逻辑结构62.2 组网概述82.2.1 Ethernet组网描述（前后端网络均采用Ethernet组网）92.2.2 IB组网描述（前后端网络均采用IB组网）102.2.3 前端Ethernet后端IB组网描述（前端网络采用Ethernet，后端网络采用IB组网）112.3 系统运行环境113 分布式文件系统架构123.1 分布式文件系统架构概述123.1.1 分布式文件系统服务143.1.2 存储资源池平面143.1.3 管理平面153.2 元数据管理153.3 分布式数据可靠性技术163.3.1 数据条带化163.3.2 集群对象存储系统173.3.3 N+M数据保护183.4 全局缓存213.4.1 全局缓存组成要素223.4.2 实现原理233.5 文件写示意流程243.6 负载均衡263.6.1 智能IP管理263.6.2 多样的负载策略283.6.3 节点分区管理283.7 数据重构294 系统

2、特点304.1 卓越性能304.2 灵活扩展304.3 开放融合315 缩略语和术语32iiiOceanStor 9000 V5横向扩展文件存储横向扩展文件存储 产品技术白皮书1 概述信息爆炸时代中人们可以获取的数据成指数倍的增长，传统的单机文件系统单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式，在容量大小、容量增长速度、数据备份、数据安全等方面的表现都差强人意。为应对不同的存储需求，催生出不同的存储模式：l 集中式存储：文件的元数据（描述数据的数据，如文件位置、大小等等）、数据信息存放在一起，前端NFS挂载后端SAN、NAS模式。此类传统存储模式扩展困难，难以支持超大数据量存储（PB级）。l 非对称分布式存储：单一元数据服务节点，文件元数据、数据分离存储，例如lustre、moosefs等等，独立元数据服务带来的问题：单点故障，可以采用heart beat等方式消除单点访问故障，但单点访问的性能瓶颈无法消除。l 全对称分布式存储：全对称、去中心化的分布式架构，用一致性哈希consistent hash算法（DHT的一种实现）来定位文件在存储节点中的位置，从而取消了元数据服务

3、的角色，系统中只有存储节点的角色，不区分元数据和数据块。但在节点扩容、故障场景下，对一致性哈希算法要求有极高的效率以及均衡性、一致性。OceanStor DFS采用的是全对称、去中心化的分布式架构，但未采用DHT来定位文件存储节点的位置，OceanStor DFS系统内每个节点都能提供元数据服务（MDS）、数据服务（DS）以及外部访问的接口服务（CA），无独立元数据服务节点，消除性能瓶颈，不存在单点故障，在节点扩容、故障场景下都能无缝平滑切换，业务无感知。系统能够给应用服务器提供统一的文件系统空间，满足多台应用服务器之间共享数据的需求。非分布式集群的设备一般使用双控或者多控节点提供服务，每个节点支持特定的业务负载，当容量不够时通过扩展硬盘框的方式增加存储容量。这种方式并不完美：首先业务和节点的绑定，意味着一个业务及其关联的文件系统只在一个节点上工作，容易造成系统整体的负载不均；其次，这种系统本质上是Scale-up的扩容方式，追求单机性能，无法做到系统性能随容量的增加线性增加。作为OceanStor 9000 V5系统的软件基础，OceanStor DFS（原WushanFS）采用全A

4、ctive的Share Nothing方式，系统的数据和管理数据（元数据）平均分布在各个节点上，避免了系统资源争用，消除了系统瓶颈；即使出现整节点故障，系统也能够自动识别故障节点，自动重构故障节点涉及的数据和元数据，使故障对业务透明，完全不影响业务连续性。整系统采用全互联全冗余的组网机制，全对称分布式集群设计，实现存储系统节点的全局统一命名空间，从而允许系统中任何节点并发访问整系统的任何文件；并且支持文件内的细粒度的全局锁，提供从多个节点并发访问相同文件的不同区域，实现高并发高性能读写。2 硬件、软件与网络2.1 产品逻辑结构OceanStor 9000 V5系统采用全对称架构，对相同类型(硬件节点系列参见后文描述)的节点而言，节点内部的软硬件配置完全对等，这样的设计使得用户首次购买或者扩容时，不需要考虑独立元数据服务器或独立网管服务器等问题，只需根据实际需求计算出需要的节点数即可，最小3台起配。OceanStor 9000 V5系统由交换设备和OceanStor 9000 V5硬件节点组成，不需要额外的设备。产品结构如图2-1所示。图2-1 OceanStor 9000 V5产品结构

5、OceanStor 9000 V5针对不同的应用需求提供不同系列的硬件节点类型，有支持在性能要求较高场景使用的P系列节点、有支持在大容量场景使用的C系列节点。不同类型节点可以单独使用，也可以混合部署以达到整体最优，混合部署时每种节点最少配置为3台。通过划分不同“节点池”将不同的硬件统一在单一的文件系统下，满足客户同时多层次的容量和性能级别的需求，并通过分级存储特性适应业务数据在不同层级之间流动。OceanStor 9000 V5系统硬件节点系列如图2-2所示。图2-2 OceanStor 9000 V5硬件节点系列OceanStor 9000 V5所有的存储节点硬件配置均通过技术手段实现了数据掉电保护，使得数据即使在缓存中也可以得到持久化保护，同时，通过RDMA技术，有效减少了网络传输过程中内存拷贝次数。这样在不降低可靠性的前提下，进一步提升整系统响应速度。OceanStor 9000 V5系统可分为硬件平台和软件系统，硬件平台包括网络设备和物理存储节点。软件系统主要为OceanStor DFS、管理系统和多种Info系列增值特性，OceanStor DFS提供对外统一的NAS共享服务

6、，其中OceanStor DFS基础软件包中包含NFS、CIFS、FTP、NDMP多种协议以及客户端负载均衡和性能加速软件。管理系统包含统一的系统资源管理、存储设备管理、网络设备管理（10GE组网时）和系统统计报表，趋势分析，容量趋势预测，性能对比，诊断分析等功能。OceanStor 9000 V5的软件如下列表：表2-1 OceanStor 9000 V5软件列表名称功能OceanStor DFS分布式文件系统软件Device Manager设备管理软件NAS存储增值特性InfoEqualizer客户端连接负载均衡InfoTurbo性能加速InfoAllocator配额管理InfoTier自动分级存储InfoLockerWORMInfoStamper快照InfoReplicator远程复制InfoScanner防病毒InfoRevive视频图像修复InfoMigrator文件迁移InfoContainer虚拟机灌装特性InfoStreamDS视频监控华为流媒体软件2.2 组网概述OceanStor 9000 V5前后端网络物理隔离，业务网络与管理网络分别使用不同的网络平面，组网结构如

7、下图2-3所示，包括：l 前端业务网络用于OceanStor 9000 V5与用户网络对接。l 后端存储网络用于OceanStor 9000 V5内部节点间互联。图2-3 OceanStor 9000 V5组网结构在OceanStor 9000 V5系统中，集群后端网络可以支持10GE、25GE、IB连接，前端网络支持GE、10GE、25GE、IB连接，以满足不同场景用户的组网需求。无论哪种组网，OceanStor 9000 V5系统的所有节点网络都是冗余的，任何单一网口故障或者单一交换机故障均不影响系统使用。OceanStor 9000 V5系统前端和后端可以分别使用不同的物理网卡以达到从网络上相互隔离的目的，并且前端网络可以根据用户现有网络状况选择GE、10GE、25GE、IB连接。通过OceanStor 9000 V5存储设备所提供的IPMI网口可以访问设备的管理界面。OceanStor 9000 V5不同类型的节点支持的组网类型包括：P系列节点：l 前2*10GE后2*10GE组网l 前2*25GE后2*25GE组网l 前2*10GE后2*25GE组网l 前2*GE后2*10G

8、E组网l 前4*GE后2*10GE组网l 前2*IB后2*IB组网l 前2*10GE后2*IB组网l 前2*25GE后2*IB组网C系列节点：l 前2*10GE后2*10GE组网l 前2*25GE后2*25GE组网l 前2*10GE后2*25GE组网l 前2*GE后2*10GE组网l 前4*GE后2*10GE组网l 前2*IB后2*IB组网l 前2*10GE后2*IB组网l 前2*25GE后2*IB组网图2-4 组网部署l 系统支持多种类型节点混合部署，混合部署时相同类型相同配置的节点最少配置为3台；l 系统仅部署NAS存储时，最少需要部署3台节点；2.2.1 Ethernet组网描述（前后端网络均采用Ethernet组网）前后端均采用Ethernet交换机组网的典型配置方案如图2-5所示。图2-5 前端和后端网络均采用Ethernet交换机组网方案示意组网说明：l 当OceanStor 9000 V5使用Ethernet组网时，前端网络对接用户Ethernet交换网，后端网络使用内部Ethernet交换机。前后端交换机冗余配置。l GE交换机通过网线连接管理网口和IPMI网口，仅用于

9、管理维护。2.2.2 IB组网描述（前后端网络均采用IB组网）前后端均采用IB交换机组网的典型配置方案如图2-6所示。图2-6 前端和后端网络均采用IB交换机组网方案示意组网说明：l 当OceanStor 9000 V5使用全IB组网时，前端网络对接用户IB交换网后端网络使用内部IB交换机。前后端交换机冗余配置。l GE交换机通过网线连接管理网口和IPMI网口，仅用于管理维护。2.2.3 前端Ethernet后端IB组网描述（前端网络采用Ethernet，后端网络采用IB组网）前端网络采用Ethernet交换机，后端网络采用IB交换机组网的典型配置方案如图2-7所示。图2-7 前端网络采用Ethernet交换机，后端网络采用IB交换机组网方案示意组网说明：l 前端网络使用Ethernet交换机，后端网络使用IB交换机。前后端交换机冗余配置。l GE交换机通过网线连接管理网口和IPMI网口，仅用于管理维护。2.3 系统运行环境OceanStor 9000 V5通过NFS共享、CIFS共享等方式为用户提供文件服务，对最终用户来说，OceanStor 9000 V5就是一个文件服务器，用户通过该服务器存取文件。用户所在的环境可能是比较复杂的，在提供NAS服务时，需要配合如AD域、NIS域、LDAP等环境，OceanStor 9000 V5均能够支持。OceanStor 9000 V5提供对以上环境的支持，用户只需要进行相应的配置，即

《华为OceanStor 9000 V5 横向扩展文件存储 产品技术白皮书》由会员添***分享，可在线阅读，更多相关《华为OceanStor 9000 V5 横向扩展文件存储 产品技术白皮书》请在金锄头文库上搜索。