华为FusionSphere 8.0 虚拟化套件GPU直通技术白皮书

华为FusionSphere 8.0华为FusionSphere 8.0.RC2虚拟化套件GPU直通技术白皮书华为技术有限公司目 录1 简介11.1 背景简介11.2 方案简介11.2.1 X86架构11.2.2 ARM架构22 技术和方案介绍32.1 PCI直通方案32.1.1 方案概述32.1.2 适用场景42.1.3 方案特点42.2 GPU资源组方案52.2.1 方案概述52.2.2 适用场景52.2.3 方案特点73 术语71 简介11.1 背景简介11.2 方案简介11.2.1 X86架构11.2.2 ARM架构22 技术和方案介绍32.1 PCI直通方案32.1.1 方案概述32.1.2 适用场景42.1.3 方案特点42.2 GPU资源组方案52.2.1 方案概述52.2.2 适用场景52.2.3 方案特点73 术语71 简介11.1 背景简介11.2 方案简介12 技术和方案介绍22.1 PCI直通方案22.1.1 方案概述22.1.2 适用场景32.1.3 方案特点32.2 GPU资源组方案42.2.1 方案概述42.2.2 适用场景42.2.3 方案特点63 术语6华为FusionShpere 8.0虚拟化套件GPU直通技术白皮书Error! No text of specified style in document.1 简介1.1 背景简介随着信息化社会的飞速发展，大数据分析、深度学习等新技术的不断涌现，高性能计算不仅应用在石油勘探、地震分析、流体力学计算、分子运力学等传统领域，互联网、金融、政府信息化、教育等领域对高性能计算的需求也飞速增长。GPU在高性能计算领域的使用，使得CPU不再是计算芯片的唯一选择。与CPU相比，GPU具备更强大的计算能力以及更简单的任务处理模式，在高性能计算领域扮演者越来越重要的角色。与此同时，在传统的图形渲染领域，包括虚拟桌面、游戏、工业设计、影视渲染等场景中，GPU也扮演者不可替代的角色。GPU直通方案，为虚拟机提供接近于物理GPU能力的GPU设备。1.2 方案简介1.2.1 X86架构X86架构的华为FusionSphere虚拟化套件针对不同的业务场景及对GPU资源的使用情况，提供以下两种有针对性的解决方案： 主机PCI设备直通 GPU资源组方案类型解决方案功能特点应用场景PCI直通直接将主机上GPU对应的PCI设备直通给虚拟机使用1、 1、独占GPU设备2、 2、不允许GPU超分配视频云等GPU资源组将GPU设备添加到GPU资源组，再从GPU资源组中分配GPU给虚拟机1、 1、在虚拟机关闭后，GPU可被其他虚拟机使用；2、 2、允许GPU超分配桌面云等FusionSphere虚拟化套件使用PCI直通技术将GPU设备直通给虚拟机，即将GPU在计算节点中呈现的PCI设备直接绑定给虚拟机以呈现成为虚拟机的一个PCI设备。1.3 1.3.1 ARM架构1.4 ARM架构的华为FusionSphere虚拟化套件华为FusionSphere虚拟化套件支持华为Altlas 300 AI加速卡设备直通，针对不同的业务场景及对GPU资源的使用情况，提供以下两种有针对性的解决方案如下： 主机PCI设备直通 GPU资源组方案类型解决方案功能特点应用场景PCI直通直接将主机上GPU对应的PCI设备直通给虚拟机使用3、 1、独占GPU设备4、 2、不允许GPU超分配5、 不允许GPU超分配视频云等GPU资源组将GPU设备添加到GPU资源组，再从GPU资源组中分配GPU给虚拟机3、 在虚拟机关闭后，GPU可被其他虚拟机使用；4、 允许GPU超分配桌面云等FusionSphere虚拟化套件使用PCI直通技术将GPU设备直通给虚拟机，即将GPU在计算节点中呈现的PCI设备直接绑定给虚拟机以呈现成为虚拟机的一个PCI设备。2 技术和方案介绍2.1 PCI直通方案2.1.1 方案概述FusionSphere虚拟化套件在主机（计算节点）启动等时机主动发现其以装配的GPU设备，这些GPU设备可直接绑定给虚拟机。2.1.2 适用场景使用场景适用于对GPU资源需求明确，需要对GPU进行持续独占使用的场景。例如：地震分析、视频云等领域使用约束PCI直通方案存在以下约束：1、 虚拟机必须与GPU设备所在主机绑定；2、 已直通GPU设备的虚拟机不支持内存快照；3、 已直通GPU设备的虚拟机不支持热迁移、休眠、唤醒操作；4、 仅支持在GPU关闭状态下进行GPU设备的绑定与解绑定操作；5、 一个GPU只能绑定给一个虚拟机或一个GPU资源组；6、 需要进行GPU直通的虚拟机的内存必须全部预留；7、 每个虚拟机最多支持直通8个GPU设备；8、 需要提前在主机的BIOS中开启VT-d和VT-x支持。不同厂商服务器开启的方式会有区别，请参考具体的服务器帮助文档；2.1.3 方案特点绑定GPU的虚拟机，不会因为GPU资源不足导致虚拟机无法启动说明即使绑定GPU的虚拟机的电源已关闭，GPU也不能被其他虚拟机使用2.2 GPU资源组方案2.2.1 方案概述GPU资源组方案需要管理员首先创建以直通方式使用的GPU资源组，并将主机上的GPU设备添加到资源组中。在需要对虚拟机分配GPU资源时，直接将GPU资源组绑定给虚拟机，并指定预计在资源组中分配的GPU数量。客户虚拟机启动时，GPU资源组按照虚拟机所需的GPU数量，找到空闲的GPU数量满足条件的主机，并从该主机中分配所需数量的GPU资源以PCI直通的方式直通给虚拟机，以使虚拟机顺利启动。客户虚拟机在关闭后，GPU资源会释放给资源组，此时这些GPU资源可以被分配给其他虚拟机使用。相比于FusionSphere虚拟化套件6.3之前的版本，该方案支持在一套环境中同时使用多种规格的GPU卡，只需将不同的GPU卡划分在不同的资源组中即可。该方案可以支持系统中存在需要使用不同GPU的应用的情况，同时也可在设备演进中平台地支持GPU卡进行更新换代。多种GPU卡是否可以同时直通给一台虚拟机，需要从虚拟机操作系统供应商以及显卡芯片厂商处获取支持。说明每个GPU资源组可以管理相同产品型号的GPU资源，虚拟机可以通过绑定多个不同产品型号的GPU资源组以挂载不同型号的GPU设备，但是这些设备在虚拟机的操作系统中是否可以正常使用，由GPU的驱动程序以及操作系统决定。2.2.2 适用场景使用场景适用于对GPU资源需求存在弹性，允许进行GPU分时复用的场景。场景举例：大数据分析、深度学习、互联网、教育等领域例如：分时复用某公司有3种业务A、B、C均需要使用GPU，但各业务运行的高峰时段存在明显差异，如下表所示：业务高峰时段对GPU数量的诉求常规时段高峰时段A8:0010:0016:0020:0026B11:0014:0024C1:004:0013时段对GPU数量的诉求业务A业务B业务C总数1:004:0022378:0010:00621911:0014:00241716:0020:006219在此种场景下，为满足所有业务在高峰时段对于GPU的诉求，共需配备13块GPU；而各业务存在明显的高峰时段差异，此时对各高峰时段进行分析得出在每个高峰时段中，所需要的GPU数量都不超过9个，如下表所示：在业务系统支持动态扩缩容的情况下，在某个业务处于高峰时段时，业务系统通过扩展节点（虚拟机）的方式进行扩容，在脱离高峰时段时进行缩容，只需配备9块GPU，即可满足所有业务在各自高峰时段对GPU的诉求。此种相同GPU在不同时间由不同的系统或应用使用的情况即为分时复用。使用约束GPU资源组方案存在以下约束：1) 同一台虚拟机所使用的GPU必须集中在同一台主机上，当任意主机空闲的GPU不足以满足虚拟机运行所需时，即使资源组中的空闲GPU总量满足，虚拟机也无法被分配到所需的GPU资源；2) 已直通GPU设备的虚拟机不支持内存快照；3) 已直通GPU设备的虚拟机不支持热迁移、休眠、唤醒操作；4) 仅支持在GPU关闭状态下进行GPU设备的绑定与解绑定操作；5) 一个GPU只能绑定给一个虚拟机或一个GPU资源组；6) 需要进行GPU直通的虚拟机的内存必须全部预留；7) 每个虚拟机最多支持直通8个GPU设备；8) 需要提前在主机的BIOS中开启VT-d和VT-x支持。不同厂商服务器开启的方式会有区别，请参考具体的服务器帮助文档；2.2.3 方案特点允许对GPU资源进行超分配，同一个GPU在多个虚拟机间分时复用由一个应用释放出来的GPU可以被其他应用使用说明在GPU资源不足时，绑定GPU资源的已关闭电源的虚拟机不支持启动，如果需要启动虚拟机，需要将占用GPU的虚拟机关闭电源以释放GPU资源3 术语术语英文解释中文解释GPUGraphics Processing Unit图形处理器PCIPeripheral Component Interconnect外设部件互联标准版权所有 华为技术有限公司 2019。 保留一切权利。非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。商标声明和其他华为商标均为华为技术有限公司的商标。本文档提及的其他所有商标或注册商标，由各自的所有人拥有。注意您购买的产品、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。除非合同另有约定，华为公司对本文档内容不做任何明示或暗示的声明或保证。由于产品版本升级或其他原因，本文档内容会不定期进行更新。除非另有约定，本文档仅作为使用指导，本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。华为技术有限公司地址：深圳市龙岗区坂田华为总部办公楼 邮编：518129网址：文档版本V1.0 (2019-08-30)华为专有和保密信息 版权所有 华为技术有限公司9