基于大数据的自动生成扩容板卡方案研究与应用.docx

    基于大数据的自动生成扩容板卡方案研究与应用    班 瑞 华润多 李 峙 王 鹏 耿书鹏1.中讯邮电咨询设计院有限公司2.中国联合网络通信集团有限公司3.北京航天航空大学0 引言随着家庭宽带和5G业务的快速发展，运营商数据网网络设备承载的业务流量大大增加为了保障业务的正常发展，需定期对网络设备进行扩容，增加设备的处理能力，降低设备负荷数据网网络设备包括核心路由器和汇聚/接入路由器，其中汇聚/接入路由器双上联至核心路由器，扩容汇聚/接入路由器上联链路时需保障对端核心路由器下联端口满足扩容需求或按需扩容由于汇聚/接入路由器下联网络设备类型众多，且下联需求多为下联网络设备上报所得，不在本文讨论范围，即本文考虑汇聚/接入路由器上联需求及核心路由器上联、下联需求同时，网络设备包含母卡、子卡和端口，因此扩容方案应包含以上内容的类型和数量1 现有板卡扩容方案存在的问题现有板卡扩容方案是通过计算设备利用率，人工定义扩容阈值，当利用率高于阈值时，进行扩容；通过人工获取板卡字典库，根据专家经验，确定板卡的类型和数量，拟定扩容方案利用率计算公式：利用率=流量/网络配置带宽现有方案存在如下问题：（1）阈值通过人工方式定义，多为专家经验判定，不够精确；（2）选取板卡时需使用字典库，字典库需要个人通过人工方式定期维护和更新，易存在错误及版本老旧问题；（3）选取板卡类型和数量，强依赖专家经验，各省市扩容时专家经验不一致，部分经验不够准确。

2 自动生成扩容板卡方案设计思路针对上述问题，提出通过如下方式解决：（1）基于网络中全部设备历史运行数据，通过大数据分析，计算设备利用率增长幅度，自动判定阈值，使其更精确；（2）基于网络中全部设备和板卡，通过大数据分析其匹配关系，自动建立板卡字典库，减少人工维护工作量，并解决因人工失误导致的字典库版本错误和老旧问题；（3）建立板卡推荐算法，统一全国各省市数据网网络设备扩容算法和步骤，自动生成扩容方案，使其准确、通用3 数据网网络结构介绍数据网网络设备包含两个层级：汇聚/接入路由器层和核心路由器层，网路组织示意图如下：一对核心路由器下联多个汇聚/接入路由器，口字形上联上层网络（如图1所示），或交叉型上联上层网络（如图2所示）汇聚/接入路由器下联的多种设备，定义为下层网络上层网络和下层网络不在本文讨论范畴内图1 口字形上联图2 交叉形上联图2 基于复制的任务加速算法的体系结构4 自动生成扩容板卡方案设计流程4.1 总体流程总体流程分为如下部分：（1）大数据分析扩容阈值；（2）板卡推荐算法实现；（3）筛选需要扩容的设备；（4）自动生成扩容板卡方案4.2 各环节详细方案4.2.1 大数据分析扩容阈值本文目标是扩容“双高”设备，即上联带宽利用率以及配置端口利用率均大于阈值的设备，因此需要确定带宽利用率以及端口利用率的阈值。

通过大数据分析全网设备历史数据，逐台设备分析其历史带宽和端口利用率的变化规律，最后选取能够满足全网设备的阈值，具体过程如下：（1）为计算带宽利用率阈值，对每一台设备完成（2）～（4）步骤2）因每个时间周期T都对全网设备生成扩容方案，可将该设备每周期T的数据作为一个分组，分别计算第i个周期Ti的流量峰值速率，记为MRmax-i该峰值速率所对应时间的小时记为hi3）提取该设备Ti-1且小时为hi的所有数据作为分组，计算该分组的平均流量值，记为MRavg-（i-1）4）定义Ti的流量增长系数αi=MRmax-i/MRavg-（i-1），对历史数据中所有月份计算完成后，定义该设备流量增长系数α=MAX（αi），i=0，1，2…n5）对每台设备计算α，取全网设备最大的α记为αmax6）带宽利用率阈值a=[100%/αmax*100]%上述步骤原理为带宽利用率Br=最大流量速率Mr/配置带宽B，即Br=Mr/B，假设不扩容，即B不变，Br与Mr成正比因每周期T都会进行扩容，当预测下个周期的利用率低于100%，即可判定该设备本周期不需要扩容，因此计算历史每个周期的流量增长系数，当历史周期数量足够，可假定本周期的流量增长系数不会超过历史最大值。

因Br与Mr成正比，利用率的增长系数也不会超过流量增长系数αmax，所以判定设备不需要扩容的阈值a*αmax应小于100%，可得出阈值a的计算公式同理，计算端口利用率阈值b，步骤如下：（1）对每一台设备完成（2）、（3）步骤；（2）第i个月最后一天的使用端口数量，记为PUi；（3）定义第i个月的端口增长系数βi=PUi/PUi-1定义该设备端口增长系数β= MAX（βi），i=0，1，2…n；（4）对每台设备计算β，取全网设备最大的β记为βmax；（5）配置端口利用率阈值b=[100%/βmax*100]%4.2.2 板卡推荐算法实现本文通过扩容板卡解决网络设备利用率过高的问题因现网板卡型号众多，需要根据端口类型，推荐最优板卡（含母卡、子卡），生成扩容方案1）建立设备、板卡关联关系基于大数据获取网络设备（核心路由器、汇聚/接入路由器）信息，分析每台设备的设备、母卡包含关系，每个母卡的母卡、子卡包含关系，建立数据库，数据库中一条记录代表一块子卡或者母卡其中设备对母卡是“一对多”关系，母卡对子卡是“一对多”关系建立板卡关系时，只选择实际处理业务的板卡，包含固定和灵活板卡2）板卡评价体系实现基于上述数据库，统计出各型号板卡（子卡、母卡）的最新入网年份、板卡密度、板卡记录条数、板卡类型，结合端口数据统计出板卡上端口的比例。

根据专家经验，评价各维度重要程度，对其打分和加权，计算每个型号的板卡得分评价体系如表1所示表1 板卡评价体系表总得分S=∑Si*Wi，Si为各维度的得分，Wi为对应权重3）建立板卡推荐库对设备、板卡关联关系表中的记录进行评价打分，并按设备厂家、设备平台能力、板卡承载端口类型进行分组，选出每组得分最高的子卡或母卡型号，建立板卡推荐数据库，描述如表2所示表2 板卡推荐库描述表4.2.3 筛选需要扩容的设备（1）“双高”路由器定义“双高”路由器定义为上联带宽利用率＞阈值a，配置端口利用率＞阈值b的路由器设备其中，上联带宽利用率记为Rb；上联方向流量速率记为M；上联配置端口带宽记为B；配置端口利用率记为Rp；某类型已使用端口数量记为Ui，该类型配置的端口数量记为Mi，该类型端口能力记为AiRb=M/B；Rp=∑（Ui*Ai）/∑（Mi*Ai），i∈该设备端口类型集合；因此“双高”路由器定义为Rb＞a & Rp＞b的路由器2）筛选“双高”设备流程筛选双高核心、汇聚/接入路由器，主要流程：（1）遍历所有数据网网络设备，对每一台设备进行下述操作2）获取该设备类型，如果是汇聚/接入路由器，则将同局址所有汇聚/接入路由器作为整体；如果是核心路由器，则将该核心路由器所在的一对核心路由器作为整体。

3）对该整体计算上联带宽利用率和端口配置利用率，与阈值a和b比较4）判断是否是双高设备，并加入双高设备列表对下一个设备进行（2）～（4）步骤，直至所有设备判断完毕4.2.4 自动生成扩容板卡方案本文主要针对汇聚/接入路由器以及核心路由器进行扩容，其网络组织关系见上文数据网组网结构汇聚/接入路由器扩容上联链路后，需考虑其对端核心路由器能否满足需求，因此扩容汇聚/接入路由器流程与扩容核心路由器流程不一致，且有先后顺序，本文将分别阐述1）汇聚/接入路由器扩容方案①按照上文“双高”路由器定义，筛选出“双高”汇聚/接入路由器列表②遍历该列表，对每一个设备进行下述流程③根据运维要求，汇聚/接入路由器设备链路不能捆绑，即所有上联链路端口类型需一致因此获取当前设备现有上联链路端口类型，作为需扩容的端口类型可通过对端设备类型为核心路由器，判断该端口为上联端口④按照设备平台能力、厂家、需扩容端口类型，从上文板卡推荐库中获取可扩容板卡序列，因端口可能由子卡承载也可能由母卡直接承载，序列中包含1块子卡+1块母卡或1块直接承载端口的母卡⑤序列中只有母卡则扩母卡；序列中为子卡+母卡，则先扩一块子卡后，根据该设备是否有可用空余子槽位，判断是否需要扩母卡。

⑥根据不同容灾方案要求，分为一次至少扩两块板卡和一次扩一块板卡⑦扩容1或2个板卡序列后，重新判断该设备是否为“双高”设备，如是，则继续扩容一个板卡序列，至该设备不是“双高”设备⑧输出该汇聚/接入路由器扩容方案⑨计算使上联带宽利用率＜阈值a和配置端口利用率＜阈值b所需扩容的实际端口数量，并向上取2的整数倍（因汇聚/接入路由器上联一对核心路由器），将该汇聚/接入路由器扩容端口数量和类型平均加入到其上联的一对核心路由器下联扩容需求中⑩重复以上流程，直到所有双高汇聚/接入路由器生成扩容方案2）核心路由器扩容方案实现核心路由器扩容分为因汇聚/接入路由器扩容上联带来的下联扩容需求，以及“双高”核心路由器的上联扩容需求，因此核心路由器扩容流程分为两步，且下联需求必须满足，满足后端口配置变化，再计算是否是“双高”核心路由器①首先获取核心路由器下联扩容需求，逐个核心路由器对需求汇总处理，则核心路由器的下联需求可能包含多种端口类型②分别获取该核心路由器下联需求的每一种端口类型和数量，进行后续扩容操作每次按一个端口考虑③判断该核心路由器是否有该类型多余可用端口，数量是否满足，计算数量时需要保证配置端口利用率不能超过阈值b。

如不满足，则需扩容④根据该核心路由器平台能力、厂家、扩容端口类型，从上文板卡推荐库中获取可扩容板卡序列，同汇聚/接入路由器，该序列可能为子卡+母卡或只有母卡⑤按照运维要求，核心路由器不涉及容灾问题，则每次只扩容1块子卡或母卡⑥循环并依此处理该端口类型中所有端口的数量需求、该核心路由器所有端口类型的需求、所有核心路由器的需求，直到所有核心路由器下联需求被满足至此，汇聚/接入路由器扩容带来的核心路由器下联扩容需求处理完成扩容核心路由器上联需求与扩容汇聚/接入路由器上联需求方法类似，不再赘述5 结束语本文提出的数据网自动生成扩容板卡方案，解决了网络扩容需求，向网络自动化迈进了一步经验证，本系统适用于现网所有设备定期使用本系统，可以筛选现网高负荷网络设备，自动生成板卡扩容方案，实现网络的快速扩容，降低网络负荷，提升业务保障  -全文完-。