FusionCube1000数据库场景技术白皮书.docx

FusionCube 1000（数据）数据库场景技术白皮书前言概述本文档介绍了华为FusionCube 1000（数据）数据库基础设施的产品价值、产品架构、高性能、线性扩展、系统安全以及系统可靠性读者对象本文档主要适用于以下工程师：l 营销工程师l 技术支持工程师l 维护工程师符号约定在本文中可能出现下列标志，它们所代表的含义如下符号说明表示如不避免则将会导致死亡或严重伤害的具有高等级风险的危害表示如不避免则可能导致死亡或严重伤害的具有中等级风险的危害表示如不避免则可能导致轻微或中度伤害的具有低等级风险的危害用于传递设备或环境安全警示信息如不避免则可能会导致设备损坏、数据丢失、设备性能降低或其它不可预知的结果须知”不涉及人身伤害对正文中重点信息的补充说明说明”不是安全警示信息，不涉及人身、设备及环境伤害信息目 录前言 ii1 产品概述 12 产品价值 23 产品架构 43.1 节点架构 53.2 典型配置 63.3 组网 84 分布式存储 104.1 架构概述 114.2 关键业务流程 144.2.1 数据路由 144.2.2 IO路径 154.2.3 Cache机制 174.3 存储管理 194.3.1 存储集群管理 194.3.2 存储服务化 194.4 数据冗余 204.4.1 多副本 204.4.2 Erasure Code 204.5 特性介绍 214.5.1 SCSI/iSCSI块接口 214.5.2 精简配置 234.5.3 重删压缩 244.5.4 快照 264.5.5 链接克隆 284.5.6 多资源池 294.5.7 QoS 305 硬件设备平台 315.1 机架服务器平台 315.1.1 1288H V5机架服务器 315.1.2 2288H V5机架服务器 325.1.3 2488H V5机架服务器 335.1.4 ARM机架服务器 345.2 E9000刀片服务器平台 355.2.1 E9000机框 355.2.2 E9000刀片 365.2.3 高性能交换板 386 安装部署和运维管理 406.1 自动化部署 406.1.1 FusionCube Builder 406.1.2 系统初始化 426.1.3 设备自动发现 436.2 统一运维管理 446.2.1 一键式运维 456.2.2 Call Home 487 性能和可扩展性 497.1 系统高性能 497.1.1 分布式I/O环 497.1.2 分布式SSD Cache加速 507.1.2.1 Read/Write Cache 517.1.2.2 大块Pass Throught 537.1.3 硬件加速 547.2 线性扩展 557.2.1 存储平滑扩容 557.2.2 性能线性扩展 567.2.3 一键式扩容 577.3 FusionCube分布式存储相对于传统SAN的性能优势 587.3.1 更高的性能 587.3.2 线性Scale-up/Scale-out 597.3.3 大池POOL 617.3.4 SSD Cache vs SSD Tier 628 系统可靠性 648.1 数据可靠性 648.1.1 块存储集群可靠性 648.1.2 数据一致性 658.1.3 数据冗余保护 658.1.4 快速数据重建 668.2 硬件可靠性 678.3 管理可靠性 678.4 系统亚健康增强 679 系统安全 729.1 系统安全威胁 729.2 总体安全框架 739.2.1 网络安全 749.2.2 应用安全 759.2.2.1 权限管理 759.2.2.2 Web安全 759.2.2.3 数据库加固 769.2.2.4 日志管理 769.2.3 主机安全 779.2.3.1 操作系统加固 779.2.4 数据安全 779.2.4.1 数据加密 7710 兼容性 7910.1 数据库兼容性 791 产品概述随着数据不断增长以及互联网业务的兴起，新兴业务的激增、业务数据呈现几何倍数增加，传统服务器+存储的架构已经无法很好满足业务发展需求，分布式、云化技术应运而生。

越来越多的企业采用虚拟化与云计算技术来构建IT系统，提升IT系统的资源利用率以及缩短业务上线周期但在应用过程中，企业面临如下挑战：l 管理复杂，运维费用仍然维持增长趋势l 安装部署复杂，硬件来自多厂商，规划、部署、调优需要丰富的经验支撑l 多厂商设备，售后支持界面多，解决问题慢l 系统庞大（不同厂商硬件设备维护、虚拟平台管理），维护难度大企业越来越关注成本控制、业务敏捷、风险管控，希望能拥有总成本低、新业务的上线时间快、资源可弹性伸缩、安全可靠、高性能的IT系统华为FusionCube 1000（数据） 是一个开放的、可扩展的系统，具有计算/存储/网络融合、预集成、高性能、高可靠、高安全、业务自动化快捷部署、统一管理、资源智能弹性伸缩、运维简单的特点，可帮助客户业务快速上线，快速实现不同云应用的部署，同时降低维护管理的难度2 产品价值FusionCube 1000（数据）遵循开放架构标准，集成服务器、分布式存储及网络交换机为一体，无需外置存储设备，并预集成了分布式存储引擎及管理软件，资源可按需调配、线性扩展主要价值如下：融合FusionCube 1000（数据）实现了计算、存储和网络资源的融合：l 硬件融合：计算存储网络高度集成，线性扩容。

l 管理融合：统一运维管理，提高资源利用率，降低OPEX费用l 应用融合：针对应用业务模型，软硬件深度调优，实现性能提升简单FusionCube 1000（数据）实现了预集成和预验证、上电后的设备自动发现、统一的维护管理，端到端的简化了业务交付：l 简化安装：提供快速安装工具，一键完成系统软件安装l 简捷交付：设备上电自动发现，参数自动配置，实现业务快速上线l 简单维护：统一界面管理，故障主动排查，简化日常运维优化FusionCube 1000（数据）通过采用业界领先硬件，以及分布式存储软件，为应用提供最优的业务体验：l 存储优化：通过内置分布式存储，为数据库应用提供了高并发、高吞吐量的存储服务l 网络优化：支持100Gbps InfiniBand，提供业界最快的交换网络开放FusionCube 1000（数据） DB是开放的数据库基础设施平台，不绑定特定的上层应用，可以为业界主流数据库等提供计算、存储和网络资源：开放高效的平台，兼容Oracle RAC、IBM DB2、GuassDB、人大金仓、Mysql、IBM informix等各种主流商用数据库3 产品架构华为FusionCube 1000（数据） DB总体架构主要由：硬件平台、分布式存储软件、安装部署和运维管理平台构成，可提供Oracle RAC、DB2、GuassDB、人大金仓、Mysql、Informix等数据库相应的运行资源。

华为FusionCube 1000（数据） DB总体架构详细构成如下图所示：图3-1 华为FusionCube DB总体架构表3-1 华为FusionCube1000 DB总体架构组件说明名称说明FusionCube CenterFusionCube的管理软件，管理其中的虚拟化资源、硬件资源，提供系统监控管理和运维管理等功能FusionCube Builder提供现场快速安装部署FusionCube系统软件，可用于现场更换虚拟化平台软件或者更新版本FusionStorage使用分布式存储技术，通过合理有序组织服务器的本地硬盘，提供高性能高可靠的块存储业务硬件平台服务器使用E9000/X6800/X6000/机架服务器，支持计算、存储、交换、电源模块化设计，计算和存储节点按需混配，计算、存储都在服务器内部署完成，支持GPU，SSD PCIe等IO加速扩展，支持丰富的交换模块10GE/IB，根据业务要求灵活配置华为FusionCube1000 DB是华为公司IT产品线的旗舰产品FusionCube遵循开放架构标准，融合服务器、分布式存储及网络交换机为一体，无需外置存储设备，并预集成了分布式存储引擎及管理软件，资源可按需调配、线性扩展。

3.1 节点架构3.2 典型配置3.3 组网3.1 节点架构在FusionCube1000 DB场景下，分布式存储与数据业务分离部署在不同的节点上，根据节点提供的功能特性差异，又分为管理节点、存储节点、计算节点和物理数据库节点存储软件部署在存储节点OS内，节点的HDD和SSD Cache存储介质通过FusionCube分布式存储软件构造成系统共享的存储池资源；计算节点上部署存储软件块设备机头，提供数据库存储资源；管理节点上部署FusionCube Center管理平台，提供系统的管理运维能力，详细的节点架构如下图：图3-2 FusionCube DB场景节点架构表3-2 FusionCube场景各类节点说明名称说明部署原则MCNA（管理节点）具有管理功能的节点，其上部署了FusionCube Center管理平台必须部署1个SNA（存储节点）具有存储功能的节点提供FusionCube分布式存储HDD磁盘以及SSD Cache存储资源根据需要部署3个～多个DBN（数据库节点）物理部署节点，可提供系统数据库计算资源根据需要部署1个～多个3.2 典型配置FusionCube 1000（数据） 6.0版本可支持大容量的HDD+SSD Cache混合部署场景以及高性能的全SSD部署场景。

具体的场景配置具体如下：l 混合部署场景节点典型配置：配置项典型配置说明服务器类型V5机架服务器/E9000 V5刀片服务器根据客户对机柜空间、磁盘大小、密度、PCIE网卡数量等选择合适的服务器类型；机架服务器：最灵活，支持各类硬盘类型，预留多个PCIE槽位但空间占用大；E9000刀片：集成度高，可支持计算、存储、网络集成在一个E9000机柜内，但只支持2.5寸HDD以及NVME SSD盘，单节点容量偏小，节点网卡配置固定；CPU/内存配置2*Intel Xeon Gold 5120 Processor8*32GB RDIMM DDR4 2666MHzCPU/内存配置根据客户的业务规格和配置可以动态调整配置，提供更多的计算资源磁盘2T/4T/6T/8T SATA盘，1.2T/1.8T/2.4T SAS盘操作系统盘默认为2*600GB SAS盘FusionCube分布式存储要求SATA盘必须要采用3副本或者EC配比为N+2以上的冗余策略，SAS盘可采用2副本、三副本或者EC配比为N+2以上的冗余策略Cache华为自研NVME SSD V5盘或卡；华为自研SAS SSD V5盘；系统的cache大小可根据客户业务压力灵活配置，一般默认配置为2*3200GB NVME SSD V5盘/卡；Cache类型出华为自研的NVME SSD和SAS SSD外，还可支持Intel、三星、镁光。