华为FusionSphere 6.5.0 虚拟化套件可靠性技术白皮书

华为FusionSphere 6.5.0虚拟化套件可靠性技术白皮书目 录1 系统架构说明11.1 华为FusionSphere解决方案总览12 系统可靠性22.1 网络路径全冗余22.2 网络分平面通信22.3 管理节点HA32.4 进程僵死保护42.5 流量控制42.6 故障检测52.7 数据一致性审计52.8 管理数据备份与恢复52.9 全局时间同步63 FusionCompute可靠性73.1 虚拟机热迁移73.2 存储冷热迁移83.3 虚拟机HA93.4 虚拟机故障隔离103.5 虚拟机OS故障检测113.6 黑匣子113.7 管理节点虚拟化部署113.8 主机故障恢复124 FusionStorage可靠性134.1 数据存储冗余设计134.2 多故障域设计144.3 数据安全级设计144.4 数据强一致性164.5 元数据高可靠性165 网络可靠性175.1 存储多路径访问195.2 虚拟化网络流量控制205.3 网卡负荷分担205.4 交换机堆叠205.5 交换机互连冗余215.6 虚拟路由冗余保护216 硬件可靠性236.1 内存可靠性236.2 硬盘可靠性236.3 支持磁盘在线定时故障检测和预警246.4 电源可靠性246.5 系统检测256.6 板载软件可靠性25华为FusionSphere 6.5.0虚拟化套件可靠性技术白皮书5 网络可靠性1 系统架构说明1.1 华为FusionSphere解决方案总览图1-1 华为FusionSphere解决方案总览华为FusionSphere解决方案对业务系统的多个应用整合后，提高了服务器利用率和系统可靠性，降低采购成本，提高维护效率。通过弹性主机基本服务提供方便快捷按需使用的助申请调度资源、查询，无需人工服务；成本低，体验好：低于传统业务模式，自动服务显著提高响应速度。252 系统可靠性架构可靠性关注的主要内容是当前解决方案是如何保证数据中心间和数据中心内各个子系统间的业务可靠性和公共平台的可靠性。2.1 网络路径全冗余FusionSphere解决方案的网络按照层次划分，可以分为核心层、汇聚层、接入层和虚拟网络层。核心层交换设备主要完成各数据中心之间的通信互联，同时提供FusionSphere对外网络出口。可通过使用交换机集群，保证对外与防火墙/NAT和对内各数据中心汇聚交换机连接的冗余。汇聚层交换设备位于各个数据中心机房内部，完成本数据中心内各接入层交换机的流量汇聚，对外与核心层交换机通过三层互通，同时对接入层交换机提供二层接入功能。通过使用交换机集群，保证了对外与核心层交换设备和数据中心内接入层交换机连接的冗余。接入交换机位负责本机柜内部的服务器接入。可通过使用交换机堆叠，保证对外与汇聚层交换设备和对内虚拟网络层连接的冗余。虚拟网络层位于服务器内部，负责服务器内部的虚拟机之间以及对外通信功能。通过采用多网卡绑定，避免单个网卡故障引发的业务中断。2.2 网络分平面通信整个云计算系统逻辑上可以分为三个平面：管理平面、存储平面和业务平面。为了保证各种网络平面数据的可靠和安全，FusionSphere采用分网络平面的架构方案，不同平面间采用VLAN进行隔离，单个平面的故障不影响其他平面继续工作。例如当管理平面暂时故障时，业务平面还能够用于继续访问虚拟机。此外，系统还支持基于VLAN的优先级设定，使得内部的管理/控制报文具备最高的权限，从而使得在任何时候，管理员和用户均可以管控系统。下图给出了从服务器接入层交换设备汇聚层交换设备间的网络连接图：图2-1 网络分平面通信隔离示意图在服务器内部，可通过对多个网卡的合理绑定和分类，允许将管理、业务和存储平面部署在不同物理网卡上，并将其连接到不同的接入层交换设备接口上，从而实现物理层面的网络隔离。2.3 管理节点HAFusionSphere的业务主备管理节点采用管理平面的心跳检测，备用节点实时检测主用节点的健康状态，一旦发现主用管理节点故障，备用管理节点将立刻接管主用节点业务，持续对外提供服务。针对管理节点上的应用进程，通过采用软件狗的方式对运行在管理节点上的进程进行实时检测，如发现进程吊死或进入死循环，软件狗将会检测到相关进程的异常状态，并触发相关进程的重启恢复；如果发现进程重启后仍不能恢复正常，则进行业务管理节点的主备倒换并出主备心跳异常告警以保证应用进程的可靠性。2.4 进程僵死保护由于系统原因会出现进程运行状态正常，但是不提供服务的情况，这种状态叫进程僵死， FusionSphere增加了关键进程僵死保护的机制，可以检查出进程处于僵死状态， 并自动将出于僵死状态的进程杀死重新启动，从而让进程正常提供服务。图2-2 管理节点HA示意图管理节点负责对全系统的业务进行管理，采用主备高可靠性的工作方式，如果主备管理节点同时故障，相关的新增业务会受影响，例如虚拟机的创建和删除等，但对于已经存在并运行中的虚拟机无影响，用户继续使用虚拟机上的应用程序，不会有任何感知。2.5 流量控制为向用户提供稳定的高可用的并发业务和避免大流量冲击导致系统崩溃，管理节点针对系统关键流程设计了完善的流量控制机制。首先在VRM接入点采用操作流控措施，从前端抑制系统过载，保证系统的稳定性。其次是针对系统内部的瓶颈环节，增加了镜像文件下载流控，鉴权、虚拟机相关业务流控（包括虚拟机迁移，虚拟机HA，虚拟机的创建，虚拟机的休眠和唤醒，启动和停止），O&M流控，确保各个环节不因为流量过载导致业务失效。2.6 故障检测系统提供了故障检测和告警的功能，同时它包括了在Web浏览器中显示故障信息的工具。一旦集群进入正常状态，系统提供使用数据可视化工具观察集群管理和分配负载的功能，可以帮助用户确定是否有负载均衡问题、失控进程或硬件性能下降的趋势，将对合理调整、分配系统资源，提高系统整体性能起到重要作用。历史记录允许查看集群每日的、每周的，甚至是每年消耗的硬件资源。通过在每个被检测的节点包括定制化的虚拟机上运行探针程序，OM系统可以收集被检测节点或者虚拟机的核心指标如CPU使用情况、基础网络流量和内存数据等，检测到诸如进程崩溃、管理和存储链路异常，节点宕机、系统资源过载等各种异常，使系统具备完善的故障检测能力。另外华为FusionSphere解决方案提供了健康检查工具，为技术支持工程师和维护工程师提供的一套日常检查工具，并能输出各部件健康检查报告，方便技术支持工程师和维护工程师快速了解系统的健康状况。通过检查系统当前信息和运行状态，反映系统健康或亚健康状态，在开局、巡检、升级等维护场景中使用。2.7 数据一致性审计FusionSphere提供了数据一致性审计功能，除了系统本身针对关键资源提供的自审计和恢复能力之外，还支持定时审计VM，卷，网络等关键资源的数据和状态的一致性，发现有异常，会自动记录或出告警，并针对记录情况提供操作指导，以便维护人员做相应的判断和恢复措施，从而保证系统内部各种相互关联数据的一致性，防止残留资源数据对系统的影响。2.8 管理数据备份与恢复系统提供管理节点配置数据和业务数据定期本地和异地备份能力，支持与第三方FTP /FTPS Server对接配置的能力。当管理节点服务异常无法自动修复时，通过本地备份的数据立即恢复；当由于灾难性的故障导致管理节点双点同时故障且不能通过重启等操作进行恢复，可使用异地备份数据立即恢复（1个小时之内完成），减少故障恢复时间。2.9 全局时间同步FusionSphere解决方案系统内部提供了时钟同步功能，可以保证所有管理节点、计算节点、虚拟机等时间一致，还支持外接NTP时钟源设备，可以保证全局时间统一且精准，方便系统维护以及各个网元的正常消息交互。 3 FusionCompute可靠性3.1 虚拟机热迁移虚拟机是弹性计算服务的资源实体，为保证虚拟机的可用性，规避业务中断的风险，系统提供虚拟机热迁移能力，即虚拟机在不中断业务的情况下实现迁移。虚拟机迁移时，管理系统会在迁移的目的端创建该虚拟机的完整镜像，并在源端和目的端进行同步。同步的内容包括内存，寄存器状态，堆栈状态，虚拟CPU状态，存储以及所有虚拟硬件的动态信息。在迁移过程中，为保证内存的同步，虚拟机管理器（Hypervisor）提供了内存数据的快速复制技术，从而保证了在不中断业务的情况下将虚拟机迁移到目标主机（图示如下）。同时，通过共享存储保证了虚拟机迁移前后持久化数据不变。图3-1 虚拟机热迁移特性示意图降低客户的业务运行成本：根据时间段的不同，客户的服务器会在一定时间内处于相对空闲状态，此时若将多台物理机上的业务迁移到少量或者一台物理机上运行，而将没有运行业务的物理机关闭，就可以降低客户的业务运行成本，同时达到了节能减排的作用。 保证客户系统的高可靠性：如果某台物理机运行状态出现异常，在进一步恶化之前将该物理机上运行的业务迁移到正常运行的物理机上，就可以为客户提供高可用性的系统。 硬件在线升级：当客户需要对物理机硬件进行升级时，可先将该物理机上的所有虚拟机迁移出去，之后对物理机进行升级，升级完成再将所有虚拟机迁移回来，从而实现在不中断业务运行的情况下对硬件进行升级，保证服务的持续可用性。虚拟机热迁移典型应用场景：l 根据需要按照迁移目的手动把虚拟机迁移到空闲的物理服务器l 根据资源利用情况将虚拟机批量迁移到空闲的物理服务器3.2 存储冷热迁移FusionSphere提供了虚拟机磁盘的冷迁移和热迁移，冷迁移是在虚拟机关机时候，将其磁盘文件从一个存储移动到另一个存储，热迁移可以在不中断业务的前提下，将虚拟机磁盘从一个存储迁移至另一个存储。图3-2 存储冷迁移原理架构图3-3 存储热迁移原理架构3.3 虚拟机HA当CNA物理服务器宕机或者重启，系统可以将具有HA属性的虚拟机故障迁移到其他计算服务器，保证虚拟机能够快速恢复。当计算服务器宕机后，由于单个集群内可以运行上千个虚拟机，为避免大量虚拟机迁移造成网络拥塞和目的服务器过载，系统会根据网络流量、目的服务器负荷选择将虚拟机迁移到不同的目的服务器。图3-4 虚拟机HA特性示意图当VRM与CNA的心跳中断超过30秒则会触发虚拟机HA，当一个虚拟机有运行状态突然异常消失也会触发HA在其他正常的计算节点上快速恢复业务。防止脑裂：通过存储层面的锁机制防止同一个虚拟机实例在多个CNA上同时启动。CNA节点的掉电恢复：CNA节点掉电恢复后，业务进程开机自启动恢复，其上之前运行的虚拟机全部故障迁移至其他计算节点。3.4 虚拟机故障隔离虚拟机的本质就是通过虚拟化技术，将一台物理服务器虚拟成多个计算机。虚拟机之间彼此相互独立，一个虚拟机故障不会影响其他虚拟机。用户对虚拟机的使用体验和对传统物理机的体验相同。图3-5 虚拟化环境下的软件协议栈示意图因此在一个虚拟机内的任何操作，不对同一台物理服务器上的其它虚拟机和虚拟化平台自身的可用性产生危害。即使虚拟机的运行出现故障，比如操作系统崩溃、应用程序错误导致死机等情况，同一物理服务器上的虚拟化平台以及其它虚拟机仍然可以正常运行，继续为用户提供服务。3.5 虚拟机OS故障检测当虚拟机本身发生故障时，系统能够根据用户预先设置的故障处理策略，通过主机定期检测虚拟机是