华为FusionSphere 6.5.0 虚拟化套件SSD直通技术白皮书

华为FusionSphere 6.5.0虚拟化套件SSD直通技术白皮书目 录1NVMe SSD直通11.1概述11.2原理11.2.1 PCI直通11.2.2 NVMe SSD32华为方案42.1方案简介42.2方案特点42.3方案约束43NVMe SSD直通应用场景54缩略语表61 NVMe SSD直通1.1 概述存储虚拟化让IT管理员可以通过一种便利的方式管理数据中心的存储设备，简化管理。通过精简卷提高了资源利用率，但虚拟化技术增加了虚拟机IO访问路径长度、主机上用户态与内核态切换次数，同一设备上的资源竞争，导致IO性能有所损失。设备直通技术为虚拟机提供了一种机制来直接访问物理设备，以减小虚拟化带来的开销，使虚拟机有接近物理设备的性能。随着计算机能力的不断增强，存储技术也在不断的发生变化，SSD的出现，摆脱了传统HDD的磁头、盘片及电机等机械部件，不会出现任何机械故障，相对于HDD而言，SSD在性能、可靠性、能耗方面都有着绝对的优势，基于NVME协议标准的SSD相比使用SATA接口与AHCI标准的SSD大幅的降低了延迟、提升了IOPS，使得SSD的随机性能得到了极大的提升。虚拟化环境下在对IO性能有极致需求的场景下面临着极大的挑战，基于普通存储设备提供的存储虚拟化能力根本无法满足诉求，NVMe SSD直通可以完美的解决这一问题，直通技术解决了虚拟化带来的开销，NVMe SSD提供最强的硬件能力。1.2 原理1.2.1 PCI直通SSD直通是将SSD设备作为PCI设备通过PCI直通技术完成，当前有两种直通设备实现方式：kvm pci-assign和VFIO。在虚拟机看来，直通设备是物理上连接在PCI或者PCI-E总线上的，虚拟机对该设备的I/O交互操作和实际的物理设备操作完全一样。1.2.1.1 PCI-ASSIGN使用pci-assign方式时，通过硬件虚拟化技术将宿主机中的物理 PCI 设备直接分配给虚拟机，虚拟机以独占方式访问宿主机的 PCI/PCI-E 设备，这种方式存在一些缺陷, KVM 是hypervisor并不是设备驱动，资源访问方式与安全启动并不兼容，仅支持PCI设备、X86平台、KVM虚拟化引擎。 pci-assign直通图1.2.1.2 VFIO & IOMMUVFIO是一种新的设备直通技术，很好的解决了pci-assign存在的问题，VFIO是一套用户态驱动框架，可以安全的把设备I/O、中断、DMA等暴露到用户空间，在用户空间完成设备驱动的框架。用户空间直接访问设备，虚拟机设备分配可以获得更高的IO性能。VFIO实现用户空间设备驱动时通过IOMMU可以将DMA以安全可控的方式暴露到用户空间，IOMMU的引入对设备进行了限制，设备I/O地址需要经过IOMMU重映射为内存物理地址，恶意的或存在错误的设备不能读写没有被明确映射过的内存，运行在cpu上的操作系统以互斥的方式管理MMU与IOMMU，物理设备不能绕行或污染可配置的内存管理表项。 VFIO内核组件图l vfio interface: vfio通过设备文件向用户空间提供统一访问接口。l vfio_iommu_driver:为vfio提供了IOMMU重映射驱动，即向用户空间暴露DMA操作。l vfio-pci：vfio支持pci设备pass-through,vfio-pci作为pci driver挂载到pci总线,提供将pci设备io、interrupt暴露到用户空间实现。1.2.2 NVMe SSD传统机械硬盘和固态硬盘均属于非易失存储器。传统的机械硬盘采用的是磁介质，通过磁记录的原理来实现数据的存储。SSD则摒弃传统磁介质，采用电子存储介质进行数据存储和读取的一种技术。常见的SSD都是基于闪存的，可移动且数据保护不受电源控制；目前主流的SSD还是SATA、SAS接口和PCIe接口。SATA接口与SAS接口的固态盘数据速率多在百兆级别，离SSD的最大性能还很远。PCIe接口的固态盘为了更好的发挥闪存的性能也各自有不同的软件接口，性能在2GB/s左右。为了最大化SSD的性能，同时为统一基于原生PCIe接口的固态盘的软件接口标准的情况下诞生了NVMe。NVMe是一个可扩展的主控器芯片接口标准，主要为企业、数据中心以及客户端系统中应用PCIe接口的SSD设备设计，它的目标是最大限度的释放闪存的潜能。NVMe为基于PCIe的SSD带来了较低的时延，较高的IOPS和较低能耗的优势。NVMe有以下一些关键属性：l 在命令提交或完成的路径上不需要读取相关寄存器；l 支持最多可达64K 的I/O 队列，每个队列支持64K的未处理命令；l 每个队列的的优先级拥有明确的仲裁机制；l 高效且流线型的指令集；l 支持MSI/MSI-X中断和中断聚合；l 支持多个命名空间；l 有效支持IO虚拟化架构，如SR-IOV；l 支持多路径IO和命名空间共享2 华为方案2.1 方案简介华为虚拟化套件为满足用户极致IO性能的应用场景，使用VFIO的方式提供了NVMe SSD直通的能力，实现原理请参考1.2章节。虚拟机关机时可以绑定、解绑定SSD设备，为保护用户数据安全解绑时支持格式化SSD设备。平台使用统一的框架管理所有PCI直通设备，平台支持的设备通过白名单的方式配置。2.2 方案特点 集中管理所有PCI直通设备，用户可以用统一的方式管理GPU、SSD、网卡等设备，简化了用户操作。 使用VFIO直通方式，充分利用和继承了开源社区先进的方案及经验且对可靠性、安全做了增强。2.3 方案约束SSD直通存在以下约束： 需提前在主机的BIOS中开启CPU的VT-d和VT-x支持。不同厂家服务器开启方式会有区别，请参考具体服务器的帮助文档 SSD直通虚拟机不支持热迁移、休眠、唤醒功能 SSD直通虚拟机不支持创建和恢复内存快照 SSD直通设备需要在虚拟机关闭状态下绑定及解绑定，不支持热插拔 一个SSD设备仅允许绑定给一个虚拟机 虚拟机GuestOS中需要安装SSD的磁盘驱动，以使SSD在虚拟机内部正常工作 不允许在绑定/解绑定SSD设备过程中启动虚拟机 需要进行SSD直通的虚拟机的内存必须全部预留 需要进行SSD格式化时主机必须安装对应的驱动。 需要进行SSD直通的虚拟机需要与SSD设备所在的主机绑定3 NVMe SSD直通应用场景l NVMe SSD直通适用于所有对IO有极致要求的场景，比如视频、CDN、科学计算等。4 缩略语表缩略语清单英文缩写英文全名SSDSolid State DrivesVFIOVirtual Function I/ONVMeNon-Volatile Memory ExpressBIOSBasic Input Output SystemSR-IOVSingle-Root I/O VirtualizationCDNContent Delivery NetworkIOPSInput/Output Operations Per SecondPCIPeripheral Component InterconnectPCIePeripheral Component Interconnect ExpressSATASerial Advanced Technology AttachmentIOMMUInput/Output Memory Management Unit7