华为软件定义存储架构分析

1、华为软件定义存储架构分析 明 亮 华为技术有限公司 2014-9-16 目录 华为软件定义存储相关技术 华为对云计算的理解 华为对软件定义存储理解 1 2 3 华为分布式存储介绍 4 软件定义计算 软件定义存储 软件定义网络 云服务与调度管理 Oracle RAC HANA / Sybase IQ Hadoop/Hbase批处理 DB2 SQL Server 云基础设施层 IAAS 大数据层 物理资源 MPP DB Streaming流处理 MPP RDB 非结构化、半结构化大数据 结构化大数据 Huawei Cloud OS 2P服务器 4P服务器 8P 服务器 SAN/NAS存储 企业IT向云计算架构演进 My SQL/PG-SQL 云计算机（Cloud Computer）的内涵 历史总永远是在螺旋式前进的，“云计算机”看似大型机，但绝非简单回到了大型机时代： Scale-up Scale-out：规模更大，成本更低 硬件定义 软件定义：使用灵活，生态链繁荣 硬件冗余保证可靠性 分布式软件保证可靠性：灵活，跨地理位置 专线接入 互联网接入 目录 华为软件定义存储相关技术 华为对云计

2、算的理解 华为对软件定义存储理解 1 2 3 华为分布式存储介绍 4 云计算对传统存储的挑战 SAN NAS App App App SAN NAS Hypervisor(vSphere, KVM) VM VM VM VM Virtualization LUN数量有限，存储不感知VM LUN配置复杂，修改配置困难 多VM运行同一个LUN，存在IO blending问题 如何解决？ 扩展困难 创建VM：2分钟 为VM配置网络、存储：5天 时间都去哪儿了？ 用户需要什么？ Give me a VM for VDI 自动化管 理界面 计算资源 网络资源 存储资源 Here is your VM 如何做到？ SDDC SDC：软件定义计算 SDN：软件定义网络 SDS：软件定义存储 什么是软件定义存储？ 兼容任意硬件：包括通用硬件和专用存储设备 各种存储资源统一池化，自动化管理 自助式的用户服务接口 策略驱动存储，提供SLA保障 策略驱动的控制平面（Policy driven） APP-centric Data service Virtualized Data Plane SAN/NAS SS

3、D阵列 Object Scale-out DAS Software Defined Storage Storage Data Plane Hypervisor(vSphere, KVM) VM VM VM VM Software defined Storage 目录 华为软件定义存储相关技术 华为对云计算的理解 华为对软件定义存储理解 1 2 3 华为分布式存储介绍 4 统一的策略驱动的存储控制平面 业界主流的存储管理平台 Vmware vcenter EMC：Vipr IBM：SVC Openstack：Cinder Cinder： 华为SDS controller 活跃的社区，完善的 生态系统，促使我们 选择了Openstack Openstack Gold member Huawei Oceanstor driver Huawei Fusionstorage driver Huawei Storhyper driver Cinder架构 Cinder API：统一的卷管理接口 Cinder schuduler：基于策略的存储资源调度 Cinder volume：接入不同存储厂商的

4、driver Ceph driver Cinder-volume EMC driver Cinder-volume Huawei storhyper driver Cinder-volume 各个driver之间无 法互通？ 华为SDS数据面当前架构 Huawei FusionStorage driver Cinder-volume Oceanstor driver Cinder-volume Huawei storhyper driver Cinder-volume Huawei OceanStor 系列阵列产品 Huawei FusionCube系列 Scale-out DAS产品 第三方SAN/NAS设备， 哑设备 管理面上通过Cinder提供统一接口 数据面的能力依然参差不齐 各个产品之间特性重叠 整个SDS数据面不够开放 Huawei SDS 华为SDS目标架构 Huawei FusionStorage driver Cinder-volume Oceanstor driver Cinder-volume Huawei storhyper driver Cinder-volu

5、me Huawei OceanStor 系列阵列产品 Huawei FusionCube系列 Scale-out DAS产品 第三方SAN/NAS设备， 哑设备 提供统一的以APP为中心的数据服务 APP-centric Data service（QoS，Cache， thin-provision, snapshot etc.） Policy-Driven Cinder API 提供跨异构存储设备的数据服务 将整个数据服务框架开放到社区 数据服务不依赖任何设备提供商 华为SDS数据服务 APP-centric Data service APP-centric Data service APP-centric QoS Service APP-centric Cache Service APP-centric thin-provision Service 以堆叠的形式提供数据服务 接口开放，可使用第三方数据服务 所有的数据服务提供App粒度的策略管理 The third data service VM/APP可配置QoS要求：带宽，IOPS，延迟 VM/APP可配置Cache需求：介质，容

6、量，算法，可靠性 VM/APP可配置瘦分配需求：总容量，预留容量 如何编排各种数据服务，以满足APP的需求，是 个巨大的挑战！ 华为Data serviceQoS服务 VM VM SAN NAS vDisk FC/iSCSI Object 对象存储 NFS vDisk vDisk VM vDisk vDisk VM vDisk vDisk VM vDisk vDisk VM vDisk vDisk Host1 Host2 Host3 Host4 Host5 Hostn 分布式流控 分布式调度 智能资源调整 智能资源调整 智能资源调整 智能资源调整 智能资源调整 智能资源调整 Policy1 MIN IOPS: 1000 APP1 Policy2 MIN IOPS: 1000 MAX IOPS:3000 Burst IOPS:5000 MIN MBPS: 10 MAX MBPS:50 Burst MBPS:70 Policy3 MAX IOPS: 5000 APP2 APP3 APP4 通过分布式流控、分布式调度和智能资源调整技术，实现按策略组进行流量控制、流量保障 和系统资源最大化利用

7、。 华为Data serviceCache服务 Device manager Device manager Device manger SSD Pool SSD Pool SSD Pool Cache manager vSSD vSSD vSSD vSSD vSSD vSSD vSSD vSSD vSSD Cache manager Cache manager Replication Replication Replication policy policy policy VM VM VM VM VM VM VM VM VM Storage System 华为Data serviceCache服务 提出SSD blending问题 SSD SAN NAS Object VM 所有APP的SSD cache交织在一起，无法充 分发挥SSD的价值 云数据中心应用众多，特征不一，必须要 解决好SSD blending的问题 Host1 VM VM SSD VM Host2 VM VM SSD SAN NAS Object VM VM VM SSD VM VM VM 解决SSD blendin

8、g问题 每个vSSD的容量，Cache算法，块大小，刷盘方 式，等根据应用特征配置 所有的vSSD共用集群中所有的SSD硬件 用最小的SSD成本，满足所有APP的Qos要求 vSSD vSSD vSSD vSSD vSSD vSSD 华为Data service瘦分配服务 接入没有瘦分配能力的存储LUN 将这些LUN空间统一池化 提供瘦分配服务 分布式的元数据管 理，强大的扩展性 目录 华为软件定义存储相关技术 华为对云计算的理解 华为对软件定义存储理解 1 2 3 华为分布式存储介绍 4 iSCSIiSCSI/FC/FC 协议层 存储层 NFS/CIFS/NFS/CIFS/PosixPosix 文件文件 系统系统 Object 对象对象 系统系统 对象对象 Key 元数据元数据 数据数据 用户自定义用户自定义 元数据元数据 HTTP/REST/SOAP/S3HTTP/REST/SOAP/S3 块存储 直接访问，开销最小，效率 最高 成本最高 场景：企业数据库，Oracle， VM存储等 文件存储 更易管理，更易与应用对接 场景：HPC，媒资，企业内 部应用整合，文件共享等 对象存储

9、结构扁平，近乎无限的容量扩展 更加智能的自管理特性 业界标准互联网协议，跨地域传输能力 场景：面向互联网服务的存储，归档、备 份等 Object Object Object Object 分布式存储对外接口 分布式对象存储UDS（1） P19 P26 P5 P12 P19 P26 P5 P12 P19 P26 P5 P12 P19 P26 P5 P12 P19 P26 P5 P12 P19 P26 P5 P12 P19 P26 P5 P12 P19 P26 P5 P12 P19 P26 P5 P12 P19 P26 P5 P12 P19 P26 P5 P12 P19 P26 P5 P12 P19 P26 P5 P12 P19 P26 P5 P12 P19 P26 P5 P12 P19 P26 P5 P12 P19 P26 P5 P12 P19 P26 P5 P12 P19 P26 P5 P12 P19 P26 P5 P12 P19 P26 P5 P12 P19 P26 P5 P12 P19 P26 P5 P12 P19 P26 P5 P12 P19 P26 P5 P12 P19 P26 P5 P12 P19 P26 P5 P12 P19 P26 P5 P12 P19 P26 P5 P12 P19 P26 P5 P12 P19 P26 P5 P12 P19 P26 P5 P12 数据流数据流 SmartDisk SmartDisk 接入节点 存储节点 P19 P26 P5 P12 P19 P26 P5 P12 P19 P26 P5 P12 P19 P26 P5 P12 P19 P26 P5 P12 P19 P26 P5 P12 全系统去中心：元数据分散 存储，消除系统中单点瓶颈 小颗粒存储单元：每片硬盘 带一颗处理器，最大程度降 低硬盘之间影响 文件文件 物理存储节点物理存储节点 A P00,P12,P24,P3 6,P48,P60 B P03,P15,P27,P3 9,P51,P63 元数据 节点 一般寻址方式 映射关系表 P00 P01 PXX UDS：基于算法寻址 接入 节点 内置算法，通 过运算确定存 储节点位置

《华为软件定义存储架构分析》由会员第***分享，可在线阅读，更多相关《华为软件定义存储架构分析》请在金锄头文库上搜索。