基于网络拓扑结构的故障根因定位系统.docx

    基于网络拓扑结构的故障根因定位系统    郭镇远Summary：大型服务平台内部上百个系统间的相互调用并产生上万条告警数据，大量冗余的信息给处理带来不便为此我们设计了告警信息预处理、根因定位和可视化拓扑模块，利用网络拓扑信息及告警数据，及时有效的对告警进行过滤，并设计算法快速定位网络故障中根因节点位置，并可视化展现出所有网络拓扑结构，当网络中出现故障时候根据告警信息来生成局部拓扑结构，并将产生故障的根因节点可视化展示出来Key：网络;拓扑结构;故障定位：TP393.07 ：A ：1672-9129（2020）10-0075-011 引言当今大型业务平台内部涉及上百个系统间的相互调用，每天会产生上万条告警数据，巨大数据量使得传统的人工定位无法及时有效的处理告警信息，我们基于拓扑信息、时间信息和告警内容，对告警信息进行收敛处理，去除大量荣誉告警数据和噪声数据，将有用的告警信息简洁的呈现给运维人员2 基本原理2.1告警事件预处理根据告警信息与网络节点拓扑连接关系关联，去除掉数据中对根因定位无影响的数字、字符、噪声信息，去除网络节点拓扑中不连接的节点数据并对剩余告警信息按相似性进行分类，便于后续定位算法中因果模型的构建。

2.2告警信息收敛从时间维度获取时间上相关的拓扑节点，从拓扑维度获取拓扑上相关的拓扑节点，通过时间和拓扑两个维度进行收敛，收敛出时间和拓扑上都具有关联性的告警节点，并根据收敛得到的告警节点生成节点事件2.3告警事件转换将收敛过后的节点事件，通过节点与告警关联的方式进行告警类型的转换，将节点的关联关系转化成告警的关联关系，用于后续模型的训练2.4根因定位算法基于收敛后的告警关联数据，通过因果发现算法构建因果图，并基于已知的数据进行分析和验证，最终得出相关模型，通过模型即可对根因进行定位2.5可视化根因信息使用Echart可视化图表框架，可视化展现出所有网络拓扑结构，当网络中出现故障时候根据告警信息来生成局部拓扑结构，并将产生故障的根因节点信息可视化展示出来3 实现过程3.1提取日志中的节点信息在节点的告警事件中，包含告警信息，告警时间，告警节点等信息，由于这些信息并没有进行分离处理，因此观察起来十分不便通过正则匹配以及数据预处理，将其告警信息内容进行提取，提取出对定位根因告警有用的信息，并且无用干扰和噪声信息进行剔除之后通过对告警信息分词，计算其信息熵的方式来获取告警信息之间的相关性，将告警信息相关性较强的信息進行聚合，从而实现对告警信息的分类。

分类好的数据，可以提高算法效率，得到较为准确的定位结果3.2告警数据收敛处理在收敛阶段，通过对事件和拓扑两个维度进行聚合，来获取告警事件首先在时间维度上，利用滑动窗口的方法，收敛在一段时间内的告警节点，并且将这些节点信息放到同一个事件中，通过时间窗口聚合，提取出时间维度上相互关联紧密的告警节点在获取到时间上相关的收敛事件后，对节点事件进行拓扑维度的收敛基于网络的拓扑结构图，对时间维度收敛过后的事件进行拓扑维度上的收敛通过网络拓扑图匹配时间维度收敛过后的节点事件，对事件中节点在网络拓扑图中存在连接关系的，进行收敛处理，对其中不存在拓扑连接关系的进行剔除处理通过拓扑维度上的聚合，可以找到节点之间拓扑上的相关关系，从而用于模型训练通过对时间和拓扑两个维度的收敛，把两个维度上的关联关系全部提取出来，从而生成的事件可以进行模型训练3.3告警转换由于我们要对告警进行定位，因此要将上一步收敛好的节点事件进行告警转换，将节点的聚合连接关系转化成告警连接关系对文件中节点进行聚合处理，获取每个节点上的告警信息，根据节点和告警的关联，将节点事件转化成告警的事件，从而可以对告警事件进行模型训练3.4模型训练首先将存在根因告警的文件进行分组，同一种根因告警类型划分为一组，通过划分得到不同的根因，分别对存在根因的文件进行因果模型训练。

利用规则生成的方式，进行因果模型图的生成遍历每组中告警类型的连接关系，对首次遍历到的告警类型节点生成一个连接关系，并为其设置权重，之后重复遍历到的节点每次遍历将权重增加，最终可以获得不同的根因告警的因果结构图，并且每个因果节点上附带节点的权重每种因果告警因果图对应于一种根因告警模型，通过对模型的匹配来定位根因结果3.5验证预测通过遍历预测文件中所有节点，来进行定位如果节点告警类型在根因告警类型里，查找上层调用节点几跳的节点连接信息，构建一个树状的节点连接结构，并且将其节点连接结构转换成告警连接结构，通过匹配模型上的对应的路径获得节点的权重，通过权重对这条路径打分，遍历告警节点上所有路径，计算打分之合遍历预测文件中所有节点，获取打分和，最终打分最高的节点告警即为根因告警3.6可视化展示使用前后端分离的方式建立可视化网站，前端使用百度Echart插件对进行可视化拓扑结构的展示，后端使用python对数据进行处理通过前后端配合，最终建立了系统中所有节点间的拓扑连接关系，系统间的拓扑连接关系，系统内的拓扑连接关系，节点与告警的连接关系，以及动态的网络拓扑监控系统通过动态的网络节点拓扑监控系统，运维人员可以清晰看到网络中拓扑的结构，以及某一时间段内的告警信息情况，帮助运维人员进行管理;通过网络拓扑图定位可视化，可以将其根因节点以及告警信息展示给运维人员。

4 结语本系统从收集的海量告警当中，基于深层关联规则分析和神经网络技术，保留关键告警信息，减少告警数量，减轻运维负担对告警信息进行多角度统计，联动分析及可视化，支持任意属性特征查找详细告警信息，并且展示告警节点与告警信息的关联，实时展示网络拓扑结构上的告警状态，并将其信息进行整理展示给运维人员，实现了网络故障告警和根因定位Reference：[1]冯鲁汉. 智能运维中多维监测指标的异常定位研究[D].西安电子科技大学，2019.  -全文完-。