iMaster NCE-Campus V300R019C10 可靠性技术白皮书

iMaster NCE-Campus V300R019C10 可靠性技术白皮书目 录iMaster NCE-Campus V300R019C10 可靠性技术白皮书文档版本01发布日期2020-07-08华为技术有限公司目 录1 简介12 前言22.1 大容量高可靠的诉求23 软件可用性34 控制器整体架构与可靠性方案44.1 控制器分布式架构54.1.1 设备管理服务集群架构64.1.2 PortalServer集群架构74.1.3 性能采集集群架构84.2 可靠性方案介绍84.2.1 控制器集群与负载均衡机制84.2.1.1 集群技术84.2.1.2 设备连接负载均衡94.2.2 数据库主备冗余94.2.3 服务节点可靠性部署94.2.4 异地容灾114.2.5 故障预防124.2.5.1 故障信息采集124.2.5.2 健康度检查12iMaster NCE-Campus V300R019C10 可靠性技术白皮书1 简介1 简介关键词：大容量、高可靠、分布式架构摘要：本文从iMaster NCE-Campus的发展趋势为切入点，结合大容量高可靠的关键技术架构方案、典型应用场景，从整体架构来介绍华为公司iMaster NCE-Campus(后面统称为控制器)产品大容量高可靠性的功能与特点，突出产品的独特亮点。最后结合主要应用场景的介绍，重点讲述为客户带来的价值。1iMaster NCE-Campus V300R019C10 可靠性技术白皮书2 前言2 前言随着设备管理规模、租户管理规模、Portal准入认证规模的增长，传统的单机网管架构已经不能支撑大容量的业务需求。为了解决这些问题，控制器引入分布式架构，支撑大规模设备管理、租户访问、Portal准入等，并提供高可靠性的机制来保证分布式系统的稳定运行。2.1 大容量高可靠的诉求2.1 大容量高可靠的诉求随着网络技术的飞速发展，企业网络规模也在不断扩大，大中型企业客户需要管理和维护少则几百台多则上千台的设备，iMaster NCE-Campus需要管理很多租户的设备，设备的总规模在几十万台以上，租户总规模在十万以上，设备上报的性能相关的数据量非常庞大，大容量管理的诉求非常迫切。另一方面，随着企业信息化水平的提升，为了满足用户接入企业网络，通常会把网络铺设到办公区的每个角落。公司内大量流动的办公人员和合作伙伴经常会带着笔记本电脑接入公司的局域网，这将给公司的信息安全带来很大的挑战。外来的非法终端接入公司的网络，除了可能带来计算机病毒方面的安全威胁外，还可能通过接入公司的网络，非法获取公司的商业秘密。另外，WLAN技术的成熟以及智能终端的普及，许多企业开始考虑允许员工自带智能设备使用企业内部应用。终端Portal准入认证的规模在上百万，甚至上千万，这些同样是iMaster NCE-Campus在大容量高可靠上的迫切诉求。2iMaster NCE-Campus V300R019C10 可靠性技术白皮书3 软件可用性3 软件可用性iMaster NCE-Campus软件可用性可达到3个9，即99.9%。l iMaster NCE-Campus支持冗余部署：支持集群分布式部署，支持异地容灾。l iMaster NCE-Campus支持故障检测自愈机制。l iMaster NCE-Campus支持故障预防。3iMaster NCE-Campus V300R019C10 可靠性技术白皮书4 控制器整体架构与可靠性方案4 控制器整体架构与可靠性方案iMaster NCE-Campus采用分布式架构来解决大容量高可靠性的架构问题，主要包括设备配置管理节点集群、Portal准入认证节点集群、数据采集节点集群、数据分析存储节点集群、分布式数据库节点集群。下面分别从整体架构以及各类集群的关键机制来介绍iMaster NCE-Campus的分布式架构技术方案。4.1 控制器分布式架构4.2 可靠性方案介绍4.1 控制器分布式架构图4-1 分布式架构整体部署视图l 管理的设备类型：无线接入点AP、路由器AR、防火墙FW、交换机SW；l 数据库：iMaster NCE-Campus数据库集群，主要持久化租户面的业务数据；l 分布式缓存：iMaster NCE-Campus分布式缓存集群，主要存储一些对性能要求非常高的业务数据，用于提升系统并发性能。4.1.1 设备管理服务集群架构l 南向设备连接到iMaster NCE-Campus时先经过软负载节点，由软负载节点进行负载分担后分配到NetconfClientService集群；l NetconfClientService集群单节点支持最大3万在线设备接入，集群规模可扩展；l 租户面的业务请求先经过软负载节点，再负载均衡到业务集群节点上；4.1.2 PortalServer集群架构l 南向设备连接到iMaster NCE-Campus时先经过软负载节点，由软负载节点进行负载分担后分配到PortalServer集群；l PortalServer集群单节点3万设备长连接，集群规模可扩展；l 移动端准入认证用户请求先经过软负载节点，再经过负载均衡到ACA_Nginx和PortalServer等服务节点；l 准入认证集群包含CampusAccountService、RadiusServerService、PortalServerService等多个微服务集群。4.1.3 性能采集集群架构l 南向设备性能数据通道通过iMaster NCE-Campus的软负载均衡节点负载分担到DataCollectService集群；l DataCollectService集群单节点支持南向3万设备的性能、终端、位置数据的上报处理，集群规模可扩展；4.2 可靠性方案介绍4.2.1 控制器集群与负载均衡机制4.2.1.1 集群技术控制器集群节点之间相互独立处理业务，单节点故障后业务可以自动切换到其它节点，切换期间仅原故障节点正在处理的业务异常，控制器集群其他节点可以持续正常提供服务。例如，NetconfClientService集群单节点故障后，该节点设备离线重连到其他节点，重连期间设备离线。控制器可靠性是通过集群技术来解决节点故障时业务不中断。4.2.1.2 设备连接负载均衡南向设备连接附着采用软负载集群实现，设备的TCP连接请求经由软负载节点按照负载策略直接转发给后台控制器集群节点。南向软负载节点主要转发两类TCP请求：l 设备与设备管理集群节点建立Netconf长连接，设备注册时连接请求会由软负载集群负载到设备管理集群中的任一节点，由端口确定负载列表；l 设备与准入认证集群、性能采集集群建立长连接，设备触发建连时连接请求会由软负载集群负载到准入认证集群或者性能采集集群中的任一节点，由端口确定负载列表。该方案特点如下：l 无状态化设备管理集群、准入认证集群、性能采集集群所有节点无状态化，都具备设备分片处理能力，均能够承担设备分片任务的处理，不存在单点性能瓶颈及串行约束。l 高可靠性设备连接任务指派给某个控制器节点后，当该控制器节点故障时，软负载集群节点会感知集群节点故障，设备重新发起注册请求时会负载到新的集群节点，相关任务会由其他控制器节点来承担，消除单点故障。l 负载均衡设备注册时，软负载节点会以在线控制器节点负载较低的优先分配，并且会动态刷新在线控制器节点负载信息，保证所有控制器节点的设备连接负载整体上均衡。4.2.2 数据库主备冗余控制器数据库多实例，每个实例主备部署，正常情况下主提供数据存储服务，当主实例异常后，将执行数据库主备切换，原主降为备，原备升主，新主将继续为业务服务提供数据库的读写能力。4.2.3 服务节点可靠性部署控制器单机部署场景，无集群可靠性保障，需要客户自备SFTP服务器，控制器支持定时备份数据任务，例如每天备份一次，单机故障时，支持重装版本执行数据恢复任务恢复数据。控制器集群部署场景，节点的可靠性描述如下：1. 服务主备或者集群部署，无单点服务故障问题；2. 主备和集群服务分节点部署；3. 单节点故障不影响整个集群服务功能；4. 物理机虚拟化部署场景，相同功能集群服务节点反亲和部署，即单物理机故障不影响整个集群服务功能。最小集群部署视图如下：分布式部署，如果使用物理机虚拟化，9个VM需要5台物理机，可靠性部署规划建议如下：4.2.4 异地容灾iMaster NCE-Campus容灾方案在两个地域部署两套独立的iMaster NCE-Campus系统，系统之间建立心跳、数据通信链路，依赖数据库的能力把主集群的数据实时备份到备集群。在主集群发生重大故障无法恢复的时候，用户可以把备集群恢复成新的主集群，从而继续提供业务服务。容灾指标容灾指标是指在当系统发生灾难（地震、洪水等）或长时间无法恢复的故障（如核心磁阵损坏等）时，iMaster NCE-Campus在灾难过程中的最大数据丢失量及从灾难状态恢复到可运行状态所需的时间，用于衡量容灾系统的数据冗余备份能力和业务恢复能力。指标项指标项描述限制条件配置类业务数据RPO=0minNA异地容灾倒换切换时间(min)RTO<=故障发现时间+15min(切换时间)+设备上线时间125Mbps主备通信带宽，时延20ms。首次容灾配置数据同步时间(min)<=130 min125Mbps主备通信带宽，1W设备的数据量（GaussDB （68GB）+HDFS（4GB）。4.2.5 故障预防4.2.5.1 故障信息采集支持在iMaster NCE-Campus集群纳管的所有节点执行故障信息收集，可以收集集群节点的“常见信息”和“高级信息”。在运维人员没有要求的情况下默认收集对应时间段的“常见信息”，在运维人员明确要求下根据以下内容来区分需要收集的日志：l 常见信息：Karaf日志，集群系统信息包括当前告警、运行日志、操作日志、各进程状态、数据库状态等。建议所有故障场景都收集此类日志。l 高级信息：包括系统故障日志、南北向服务日志、异地容灾&集群管理日志等系统日志。当出现iMaster NCE-Campus系统类故障（如iMaster NCE-Campus无法访问、南北向服务异常、异地容灾异常等）时，建议收集此类日志。在运维面进行线上故障信息收集，不再依赖其他独立的工具，及时发现故障问题，提升了故障信息收集效率，保证了集群系统的可靠性，减少了维护人员的时间投入。4.2.5.2 健康度检查健康度检查是一种预防性的维护，指维护人员在设备正常运行过程中，开展检查和维护工作，及时发现并消除设备中的故障隐患。系统支持在运维面进行线上健康度检查，不依赖于其他独立的工具，提升了检查效率，便于维护人员操作和使用。12