自动化运维中的大数据分析

1、自动化运维中的大数据分析摘要：针对于电力行业而言，主要是国民经济发展的一个重要的支柱产业，同 时也是支撑着现代文化建设的一个公共事业，当今伴随着我国的社会在全面的发 展，不管是工业的生产或者是人们的日常生活都是没有办法可以离开电力行业的 支撑，在全新的时代背景下，生产以及生活的方式对于电力行业的依赖性在全面 的提高。所以如何才能够使其电力行业写下新的历史篇章已经是成为了社会较为 广泛关注的热点话题。在本文之中，主要是针对了自动化运维中的大数据分析研 究，在这个基础上提出了下文中的一些内容，希望能够给与同行业工作的人员提 供出一定价值的参考。关键词：自动化；运维；大数据；分析1导言由于目前企业网络设备种类繁多、品牌和型号各异，且现代的企业不再满足 于网页浏览、电子邮件、ERP/ERM、OA等初级信息应用，已经进入到远程视讯会 议、IP电话等网络通讯、移动办公、物联网信息交互为象征的企业社交和企业协 作的新历史阶段，产生的日志数量非常庞大，一般中等规模的网络（10005000 台设备），日志量可达到每日数百万至上千万条。因此，分析和挖掘海量日志， 从中发现网络异常或隐患，对实现网络运维智能

2、化、完善网络保障体系具有重要 作用。本文主要探讨利用日志大数据挖掘分析，对日志事件进行分级和关联，学 习并研究网络日志关联、网络安全审计，根据实际的日志挖掘结果来定义智能化 分析策略，发现网络异常或隐患，以实现网络运维智能化、完善网络保障体系。2大数据的技术概述分析2.1大数据的技术概念分析所谓的大数据技术而言，其主要是为Big data，同时也是伴随着技术技术以及 信息技术所出现的一种能够将其海量的信息资源进行有效的搜集和整理等处理的 方式，在进行信息搜集和整理的时候，也是存在着比较强的调配功能，大数据的 技术产生也是为科学技术进步的一个全面的体现，也是作为人类在改造自然过程 中的一个重要的智慧结晶。2.2大数据技术的特点分析在人们发展的历史之中，大数据的技术主要是凝结了世界高薪技术的一个成 果，并且将其优势能够充分的展示给世人，通过进行了时间的磨砺，大数据的技 术目前在国际舞台上已经是展现出了较为独特的魅力，其特点主要是可以概括成 为“4V”；一是为Voltme，是大量的意思；二是为Velocity，是高速的意思；三是 为Variety，是多样的意思；四是为Value，是价值的意识

3、。所谓的大量主要是指 可以承接海量的数据；然而对于高效则是为数据处理的速度十分快；对于多样来 说则是为包罗万象；价值便是为应用大数据的技术进行工作的过程中，能够使其 社会中的各个领域所出现的生产经营带来不可估量的价值。3大数据的技术以及电力行业发展之间的关联性分析在电力行业之中，主要是作为支撑我国经济发展以及人们生活的能源基础建 设事业，当今在我国经济的发展和人们生活水平的不断提高，农业的生产以及工 业的生产和日常生活等各个方面对于电能的需求都是在不断的提高。首先在信息 化的时代来临之际，一个有效的电力信息主要是电力供应部门进行决策和战略以 及规划的基础所在，同时也是作为电力企业建立起现代化的电力企业的实际需求， 在大数据技术的来到，正好的为电力部门以及电力企业提供出需要的一些信息， 所以对于大数据技术而言，主要是和电力的管理部门以及电力企业的发展存在着 一种必然的联系。持伴随着我国现代化建设的顺利进行，国家的电力中心在对电 力设施进行建设和整合的过程中也是需要根据具体的数据作为依托，同时大数据 进行有效的整合和收集，能够为电力中心发送出相应的数据报告，使其电力中心 在进行基础设施建设

4、的过程中可以合理的对资源进行配置，达到资源利用的最大 化，避免出现人力、财力和物力方面的损失。通过上述分析，大数据的技术和电 力行业的发展各个环节都是存在着一定程度的管线性，根据其现实发展的角度来 分析，是要求电力行业能够提高对大数据的应用，可以更好的去实现电力事业的 高速发展。4日志实时监控分析4.1端口或链路类日志的实时分析网络设备的sys-log日志显示端口或链路产生up down事件，在规定时间内又 产生down up事件，即可判定为一次端口或链路抖动；超过规定时间未恢复，则 可判定为中断事件。事件发生后，根据事先定义端口字典表进行对照，将对应内 容组合成精确的告警信息发送给用户。发生端口或链路抖动事件，一定时段内累 计至设定阀值，即生成抖动告警。发生端口或链路中断事件，马上生成中断告警。4.2异常访问的实时分析告警异常访问主要包含两类：一类是病毒、木马以及黑客攻击行为，对网络特定 端口扫描，对单台主机所有端口扫描，或对特定应用的持续攻击；另一类是接入 网络的设备配置有误，访问了错误的IP或端口。防火墙、IDS、IPS、UTM等设备 可检测到上述异常访问，每次异常生成一条日志记

5、录。当异常访问频繁时，可以 通过日志分析平台，生成有效规则，在病毒扫描或异常流量到一定阀值时，进行 自动分析触发报警，管理员只需根据报警信息检查异常主机，提高处理效率。4.3故障处理时限的告警策略针对指定的一个或多个网络事件、网络故障的组合，制订告警策略。从故障 发生时间开始触发计时，自定义多个恢复时间阀值。如故障发生后，超过设定阀 值A未收到指定日志（恢复日志）则发送告警信息一。如超过阀值B未收到指定 日志（恢复日志）则发送告警信息二。以此类推，直至故障解决，发送系统恢复 信息。4.4建立不同时间段的实时告警策略针对每组关联分析规则，区分不同时间段，制订相应的规则表。如可导入每 年工作日时间表，可区分工作日和休息日不同监控时段的日志，按照对应规则进 行报警和报表汇总。5定制自动关联及智能化分析策略5.1关联映射表信息的智能关联已知的关联信息可以通过关联映射表导入系统。关联映射表包括：网络设备 互联信息表、广域网链路信息表等设备或系统相关性的信息。网络设备互联信息 表包含的是所有网络设备以及服务器的端口互联信息。当一个广域网链路总头发 生中断，所有在该总头的链路会发生上百条up dow

6、n的日志，通过自动关联，可 匹配到参数化预定义的报警内容，生成一条报警信息。主备端口或链路均发生中 断，或同一个区域发生大面积链路中断，则根据影响面，反映出不同的告警级别。5.2日志的自学习信息智能挖掘和关联未在关联信息表中的日志信息，也可能存在关联性。未定义日志的智能挖掘 和关联涉及到分析平台的自学习能力。对常规日志进行一定周期的汇总分析后， 通过与人工相结合，完成基线建模并持续跟踪，根据不同时段实际日志的数量和 类型进行动态调整，形成自学习一调整一自学习的基线闭环，逐步完善系统对 日志基线演变的自学习能力与关联能力。6结论经过实际的应用实践，对各种网络日志进行综合的大数据分析能够更加有效 的扩展和延伸对网络运维管理，为信息部门综合的保障使用部门对信息化网络运 维的实际需要拓宽了视野，也找到大数据在信息化运维中实际应用的思路。在大 数据管理的网络运维中我们不再用单一设备故障的可能性排查系统性的问题，而 是以系统涌现的观念来看待某一系统层面的问题与其发生的各个构件之间的相互 影响。参考文献1 杨威.基于NGDC技术的数据中心监管系统设计与实现D.复旦大学,2010.2 徐峰.基于遗传算法的网络运维中资源调度的研究与应用D.广东工业大 学,2016.3 罗伯恩.移动IP承载网自动化巡检系统的设计与实现D.电子科技大学,2013.吴国龙.面向云数据中心的工作流自动化系统设计与实现D.中山大学,2015.

《自动化运维中的大数据分析》由会员壹****1分享，可在线阅读，更多相关《自动化运维中的大数据分析》请在金锄头文库上搜索。