基于机器学习的日志异常检测实践
22页1、 基于机器学习的日志异常检测实践 本文选自 交易技术前沿总第三十五期文章(2019年8月)晏强 杨超 吴浩 孙伟 / 光大证券信息技术总部1、引言 证券行业对信息系统的实时性、连续性有极高的要求,根据证券期货业信息安全事件报告与调查处理办法,将信息安全事件分为特别重大事件、重大事件、较大事件、一般事件四类,故障的恢复时间直接关系到事件的定级。证监会从2015年开始每年组织证券期货业网络安全联合应急演练,以提高全市场网络安全应急处置能力。从近几年的演练过程上看,各家券商基本上都建立了较为完善的自动化应急切换流程来节省切换时间,一旦原因定位清楚,切换时间可控,而整个过程耗时最长的通常是问题的定位。监控系统是问题定位的重要依赖工具,一般可以监控到问题的现象以及一些关键性能指标。对于问题的定位,单个的指标通常来说帮助不大,例如CPU利用率可以反应当前服务器的负载情况,但是负载升高的原因仍然需要具体去排查,排查的过程主要是依赖于专家经验。对于复杂问题甚至需要多位不同领域的技术专家一起去排查定位。随着大数据、云计算以及分布式架构的不断成熟,使得通过大数据和机器学习的智能运维分析帮助运维人员定位问题
2、变成了可能。目前智能运维领域在故障排查环节通过KPI的相关性、时序聚类等方法进行,如通过对某个应用从业务数据、应用数据、核心数据库数据、系统数据、网络数据、ITSM流程数据的关联分析来进行故障的快速定位,结合过往的实际运维经验,我们发现许多故障发生的原因往往会隐藏在日志里,系统KPI指标结合日志分析进行完整的数据分析和检测能覆盖到应用相关联的各个维度,帮助运维人员实现运维故障的根因定位。系统运行过程中产生了海量的日志(包括系统日志,应用日志,网络日志,设备日志等)。即使同一个日志也有多种模式,运维人员很难掌握各类日志格式进而开发出相应的解析规则,通常只对核心的日志进行解析。针对日志量大、格式繁多的日志,通过机器学习进行日志异常检测尤其是无监督实时检测与快速的故障定位就显得尤为重要,这不仅是对传统运维方法的改进和补充,也可以使证券行业的IT运维模式更加全面、智能和主动。2、设计思路 光大证券基于现状分析提出了基于机器学习的智能日志异常检测的方法,通过大数据平台和算法的结合实现无监督实时检测与快速的故障定位。2.1 传统日志处理方法证券行业使用的系统较多,由于系统来自于不同的开发商,各个系
3、统的开发中对日志的定义很难做到一致性、标准性,这样就导致了日志的多种多样。传统方式主要通过基于关键字和解析规则两种方式对日志进行监控和问题监测,但是两种方法分别存在不足。2.1.1 基于关键字匹配对日志进行监控 基于关键字匹配存在日志中不一定有关键字就异常,例如ORACLE RAC在启动过程中会有一些预期的Error等字段,但是正常行为;针对不同类型的日志,很难标注出所有的关键字,事实上甚至有些程序日志中根本不会有类似的关键字。2.1.2 基于配置解析规则 基于配置解析规则,实现日志的字段的监控。如正则表达式的方法虽然比基于关键字有了一些改进,当然是仍然存在以下几个缺点:规则复杂:一些日志往往有大量的格式,解析工作非常复杂,需要大量花费大量时间进行调试;性能差:需要实时对来自的多个系统的海量日志进行多个规则解析,性能较差。2.2 日志智能异常检测方法为了改进传统的日志处理方法,我们基于系统日志的故障诊断或者主动检测引入机器学习方法,自动提取日志模版并且通过分析从历史故障中发现相关的模式(故障关联关系或者故障征兆)从而实现异常检测。对于日志模版而言,支持增量式学习是一个重要也是必备的能力
4、。因为运维人员经常部署软件或者硬件升级以引入新的特征,或者解决以往版本的程序错误,这些更新可以产生新的子类型的系统日志消息,而这些新的系统日志不能映射到任何现有的模板上。因此,需要从这些新的系统日志消息中提取新的模板,并且加入到模板集合中。针对海量日志行智能异常检测的设计思路如下:2.2.1 日志分词 分词会把一条完整的日志分割成若干词语构成的序列。和一般的自然语言分词不同,文本日志中有大量的关键词,是一般文本中不会大量出现的。而这些关键词可能会提供和系统非常相关的信息,而且其特征非常明显。例如,时间信息、IP地址、文件路径、内存地址等等。因此日志分词的过程中要对这些进行特别处理。2.2.2 模板提取 基于海量日志自动提取模板、变量。通过自然语言处理技术,分析大量日志中的共性和常见模式,提取日志模板。提取日志模板可以有效将大量文本日志结构化,去除大量冗余数据。日志模板和变量提取是日志智能异常检测的关键技术,这里我们主要采用了FT-TREE算法来进行提取,后面会做详细介绍。2.2.3 异常检测 根据模板计数、变量取值来进行日志异常检测。根据之前提取的日志模板,可以在线流式地对日志进行处理
《基于机器学习的日志异常检测实践》由会员Baige****0346分享,可在线阅读,更多相关《基于机器学习的日志异常检测实践》请在金锄头文库上搜索。
员工积极主动行为的组态效应:基于过程的视角
汪晖齐物平等与跨体系社会的天下想象
函数性质中的数学抽象在问题解决与设计中的应用
日本东京大学入学考试理科数学试题解析
二次电池研究进展
实践研究与论理逻辑
光学视觉传感器技术研究进展
龙泉青瓷的传承困境与发展
齐齐哈尔地区抗根肿病大白菜品种的抗性鉴定与评价
基于系统动力学模型的胶州湾海域承载力预测
基于弯液面电化学连接碳纤维实验初探
龟甲胶研究发展探析
鼻腔黏膜免疫佐剂鞭毛蛋白的研究进展
鼻内镜辅助上颌骨部分切除术治疗鼻腔鼻窦腺样囊性癌的临床分析
黑豆不同发芽期多酚、黄酮及抗氧化活性分析
齐鲁青未了:山东当代文学审美流变论
黄登水电站机电设备安装工程施工技术质量管理
黄河文化传承视角下音乐剧创作探究
黄亦琦从风论治咳嗽变异性哮喘经验※
鲸豚动物吸附式声学行为记录器综述
2023-08-11 7页
2023-06-07 10页
2022-12-24 3页
2024-02-27 5页
2023-06-08 36页
2022-10-03 14页
2023-11-09 11页
2023-10-31 42页
2023-07-02 7页
2022-11-30 6页