iMaster NCE-Campus V300R019C10 异地容灾技术白皮书

iMaster NCE-Campus V300R019C10 异地容灾技术白皮书文档版本01发布日期2020-07-08华为技术有限公司版权所有 华为技术有限公司2020。 保留一切权利。非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。商标声明 和其他华为商标均为华为技术有限公司的商标。本文档提及的其他所有商标或注册商标，由各自的所有人拥有。注意您购买的产品、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。除非合同另有约定，华为公司对本文档内容不做任何明示或默示的声明或保证。由于产品版本升级或其他原因，本文档内容会不定期进行更新。除非另有约定，本文档仅作为使用指导，本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。华为技术有限公司地址：深圳市龙岗区坂田华为总部办公楼 邮编：518129网址：客户服务邮箱：support客户服务电话：4008302118文档版本01 (2020-07-08)版权所有 华为技术有限公司iiMaster NCE-Campus V300R019C10 异地容灾技术白皮书目 录目 录1 概述11.1 产生背景11.2 主要功能11.3 技术特色22 技术实现32.1 异地容灾组网基础概念32.2 异地容灾组件组成42.3 异地容灾规格42.4 基本原理52.4.1 数据同步原理52.4.2 心跳检查原理62.4.3 手动倒换流程72.4.4 自动灾备保护82.5 异地容灾组网场景介绍102.5.1 基于路由优先级调整的容灾手工倒换方案102.5.2 基于主备南北向二层互通的容灾自动倒换方案112.5.3 基于NQA探测的容灾自动倒换方案122.6 典型业务场景132.6.1 安装部署132.6.2 运维能力133 缩略语表/Acronyms and Abbreviations15文档版本01 (2020-07-08)版权所有 华为技术有限公司iiiMaster NCE-Campus V300R019C10 异地容灾技术白皮书1 概述1 概述本文讲解异地容灾技术的背景、关键技术、原理以及典型应用场景。1.1 产生背景1.2 主要功能1.3 技术特色1.1 产生背景随着企业规模的扩展，简单的数据备份已经无法满足关键业务对系统的可用性、实时性、安全性的需要。更重要的是备份的数据往往会因为各种因素而遭到毁坏，如地震、火灾、丢失等。对于一个大企业、一个数据中心来说，时时都有大量的终端用户使用其业务，任何的业务中断、数据丢失都会使企业遭受严重的损失。如何提高系统的高可用性已经成为企业用户最关心的问题，软件系统的高可用设计也成为重中之重。异地容灾解决方案是通过在不同的地点建立备份系统，系统之间可以进行健康状态监视和功能切换，当一处系统因意外（如火灾、地震等）停止工作时，整个应用系统可以切换到另一处，使得该系统功能可以继续正常工作，提高系统应对灾难的能力。1.2 主要功能为了提升iMaster NCE-Campus应对灾难的能力，提高可靠性，在iMaster NCE-Campus本地集群的基础上，增加了异地容灾的设计。按照容灾倒换是否需要人工参与分为手动倒换灾备保护和自动灾备保护，下面自动以手动容灾保护方案来描述异地容灾的使用场景如下：在两个地域各部署一套iMaster NCE-Campus集群，互相形成主备保护，重要的业务数据会实时从主集群同步到备集群，主备之间可以分别登录维护管理系统查看对方的连接状态。在主集群故障无法恢复的情况下，管理员可以登录维护管理系统，对备集群进行人工升主以接管业务，保证业务可以快速恢复。由人工确认原主备集群状态决定如何进行主备倒换，可以有效防止双主情况的出现。1.3 技术特色l 应用级容灾iMaster NCE-Campus容灾方案非简单的数据级容灾（即只是做到了数据的异地备份），而是应用系统级的容灾，当主集群故障后，除了数据不丢失以外还能实现灾备系统快速上线接管业务。l 备集群具有主集群相同的业务能力，可快速恢复业务容灾方案要求备集群节点数量与主集群相同，使备集群具备了与主集群相同的业务处理能力，即完全接管主集群业务的能力，可以在主集群故障后备集群升主并快速接管业务。l 南北向统一VIP实现主备容灾系统对外统一的南北向访问地址，可以满足更多业务场景。l 灵活的容灾配置，方便的容灾维护能力容灾提供了便捷的运维界面，使管理员可以方便的查看容灾系统状态，修改容灾系统参数，进行容灾倒换操作。l 数据同步策略分类设置根据业务数据的差异，将业务数据分成多种类别，提供不同的同步策略。将只有本地集群使用的数据存放本地DB，不进行主备同步，减小对带宽的要求；将业务配置类数据存放于业务DB，并配置实时同步策略，RPO小于1分钟。文档版本01 (2020-07-08)版权所有 华为技术有限公司2iMaster NCE-Campus V300R019C10 异地容灾技术白皮书2 技术实现2 技术实现2.1 异地容灾组网基础概念2.2 异地容灾组件组成2.3 异地容灾规格2.4 基本原理2.5 异地容灾组网场景介绍2.6 典型业务场景2.1 异地容灾组网基础概念l NBI：北向IP地址；l NBI VIP：控制器内部的北向虚IP地址，通过Router/FW将外部访问的NBI IP地址转化成内部的NBI VIP地址；l SBI：南向IP地址；l SBI VIP：控制器内部的南向虚IP地址，通过Router/FW将外部访问的SBI IP地址转化成内部的SBI VIP地址；l Mgr VIP：管理面访问的北向虚IP地址，该IP地址客户也可以NAT成大网IP地址访问，但NAT的大网IP需要不同；2.2 异地容灾组件组成l DRMgr Service：容灾状态管理模块，是一个独立的微服务进程，主要维护容灾关系，进行主备仲裁，执行容灾倒换等。l iMaster NCE-Campus：控制器服务进程。l GaussDB：存放业务配置类数据的数据库，主备间以同步方式同步数据。l DrProduct Service：同步主备间FI中HDFS的数据。l ACA Nginx：同步主备间Portal自定义模板文件。2.3 异地容灾规格容灾指标是指在当系统发生灾难（地震、洪水等）或长时间无法恢复的故障时，iMaster NCE-Campus在灾难过程中的最大数据丢失量及从灾难状态恢复到可运行状态所需的时间，用于衡量容灾系统的数据冗余备份能力和业务恢复能力。指标项指标项描述备注数据库数据RPORPO<=1min包含设备管理、租户管理、License管理、告警等数据。HDFS数据RPORPO<=90min包含设备大包文件、设备证书文件等。文件RPORPO<=1min包含用户定制的自定义Portal页面文件。异地容灾倒换切换时间(min)手动倒换场景：RTO=15min自动倒换场景：RTO=倒换延迟（界面配置，0-240min）+15min容灾倒换成功后设备需要重新上线，上线时间依赖总的设备数量和集群规模，最小集群设备上线速率30个/s，分布式17机上线速率70个/s。首次容灾配置数据同步完成时间(min)与容灾同步数据总数据量与主备数据链路带宽有关以125Mbps主备通信带宽为例，假设纳管1万设备，GaussDB数据68GB，HDFS数据4GB，同步完成需要130分钟。2.4 基本原理2.4.1 数据同步原理iMaster NCE-Campus采用了GaussDB数据库，数据同步主要依赖GaussDB提供的数据同步能力。iMaster NCE-Campus针对业务数据的特点，将DB分成了如下两个：1. 本地DB：保存集群独有数据，这类数据不同步到备集群。优点是提高性能，减小了主备间的数据同步量，降低带宽压力。DB在集群内部由HA提供主备保护，主集群内部为主+同步备，备集群内部为主+同步备，主备集群间本地DB的数据不进行同步。2. 业务DB：保存配置类数据，这类数据需要同步到备集群，理论上不允许丢失。解决了数据丢失问题，备升主后不需要复杂的对账流程即可提供服务，减小了故障恢复时间。DB在集群内部由HA提供主备保护，主集群内部为主+同步备，备集群内部为同步备+异步备，两个同步备都从主集群的DB主节点同步数据，异步备从备集群内的同步备同步数据。因为业务DB是同步策略，在提高了RPO指标的同时，对应的性能会随着主备站点间网络时延增大而变差，因此建议网络时延越小越好，推荐在20ms之内，具体产品可以根据业务性能规格定义相应规格。2.4.2 心跳检查原理iMaster NCE-Campus主备容灾由独立微服务DRMgr Service控制，DRMgr Service单个站点内部部署两个节点，通过分布式锁选取Leader。主备集群的Leader之间进行心跳，如下图所示：当Leader节点故障，Follower节点角色会转变为Leader，并与对端集群的Leader重新建立心跳。只要有DRMgr Service存活即可保证心跳的存在，提升了心跳的可靠性。心跳和数据同步依赖打通iMaster NCE-Campus集群的内部网络平面，要求三层互通。2.4.3 手动倒换流程集群的主备状态变化完全由管理员人工单击容灾运维页面上的倒换按钮实现。异地容灾手工倒换系统示意图：异地容灾手工倒换场景组网示意图：异地容灾手工倒换场景如下：场景1：容灾倒换演练登陆任意集群管理面，执行容灾倒换操作，倒换成功后，原主集群降备，原备集群升主，新主集群对外提供业务；复制关系改变，从新主往新备同步数据；场景2：主集群灾难主集群发生灾难，业务异常，管理员感知后，确认灾难影响并决定要启用备集群，登陆到备站点的管理面执行强制升主操作；（如果需要调整外部网络的路由优先级，则附加修改路由优先级，确保新主的优先级高于原主）场景3：基于场景2，原主集群灾难恢复基于场景2，原主集群灾难恢复，以主方式启动，容灾管理服务发现双主，此时两个集群不做数据同步，保持现状，待管理员接入进行原主集群降备。在此期间集群双主，需要客户确保新主集群的优先级高于原主集群，从而不会发生业务访问错乱场景4：主备集群正常，但主备心跳链路故障管理面界面显示心跳链路异常，此时不会进行升主和降备操作。管理员介入确认，排查链路网络问题解决即可，链路恢复后主往备自动同步数据。（该场景也可以进行强制升主或降备操作）注意：手动切换，控制器对外的南北向网络链路以L3的方式发布，在NAT场景下，需要主、备站点集群映射访问的南向IP地址、北向IP地址和文件服务器IP地址各自保持一致，这样，对租户、网络设备和接入认证终端无感知控制器主备切换。2.4.4 自动灾备保护异地容灾自动倒换系统示意图：仲裁服务部署在5节点上，2个节点部署在主站点上，2