基于zabbix数据源的自动化运维平台设计与实现.docx

    基于zabbix数据源的自动化运维平台设计与实现    杨帅　吴涛　李超　史超　田伟摘 要：鉴于目前主流的zabbix等监控工具难以满足自动化运维实际需求，通过对zabbix监控数据源研究和zabbix-agent二次开发，完成监控数据收集，实现zabbix数据源调用、数据分析及可视化展示，从而构建一套满足运维个性化需求的自动化运维监控平台，实现软硬件资源监控和自动化巡检，为优化资源配置提供有力数据支撑，提升自动化运维管理水平关键词：zabbix数据源;自动化运维;可视化展示1 引言随着互联网用户业务规模的不断扩大，整个IT运维环境变得日益复杂，传统的被动、孤立、半自动式的运维手段已经无法满足运维人员实际运维需求，IT运维自动化已成为当前运维发展的大趋势目前主流的开源自动化运维监控工具，如：zabbix、Nagios等，虽然可以满足基本的日常监控需求，但随着运维规模的不断扩大，运维设备种类不断增多，这些监控工具已无法满足日常运维工作的需求[1]因此，亟需根据自身运维需求对现有的开源工具进行二次设计开发，构建一套满足运维需求的自动化运维监控平台，解决日常运维工作痛点、提高运维效率。

2 设计思路基于zabbix监控数据将运维对象资源分配到相应的业务线使用，按照业务线进行软硬件资源配置和日常运维管理，从运维对象、业务线等不同维度对资源进行日常健康监控和分析，并进行报表数据可视化展示同时，对软硬件资源运行状态进行监控并设置告警阈值，以运维监控资源数据为基础，结合整个运维流程，完成运维监控同自动化运维平台集成，实现自动化运维流程的全覆盖[2]本文针对自动化运维平台建设实际需求，整体分为基础数据监控、自动化运维平台程序及数据库两大部分其中：基础数据监控通过利用zabbix-agent作为数据采集客户端，采用zabbix数据源提供基础监控数据;自动化运维平台程序及数据库基于Python 语言和Django框架进行主体程序设计开发，实现zabbix数据源数据的提取、整合计算，将分析处理后的数据存储至MySQL数据库为平台可视化展示提供数据支撑3 平台设计分析及实现3.1 zabbix数据源分析3.1.1 数据收集通过zabbix server服务的采集进程完成zabbix agent 客户端对软硬件资源监控数据采集，并存储在zabbix数据库同时，可根据用户个性化需求，通过数据采集脚本实现其它监控数据的采集[3]。

3.1.2 数据表结构分析zabbix的数据源可通过MySQL、PostgreSQL、Oracle等数据库实现，下面以MySQL数据库为例对数据表结构进行分析设计由于zabbix数据库中涉及众多表，而在实际应用中只需重点关注以下表即可，以下对表中的Key段进行分析1）hosts表用于保存监控资源实例（包含模板等），主要记录如：IP、是否启用等信息，关注的字段为hostid、host和status2）items表用于保存所有监控项，主要包括监控项与主机对应关系、监控数据存储映射关系等3）history表与items表相关联，记录浮点型监控数据当items表中value_type字段值为0时，监控数据记录于此表4）history_uint表与items表相关联，记录长整型监控数据当items表中value_type字段值为3时，监控数据记录于此表中5）trends表记录浮点型趋势数据，每小时进行一次数据采集当items表中value_type字段值为0时，趋势数据记录于此表中6）trends_uint表记录长整型趋势数据，每小时进行一次数据采集当items表中value_type字段值为3时，趋势数据记录于此表中。

7）triggers表记录触发器和告警状态信息8）functions表与items、triggers表相关联3.1.3 表关系通过对以上zabbix数据库表结构的分析，表关系主要为：通过items表将hosts表与history、history_uint、trends、trends_uint这四张表进行关联，实现监控数据和趋势数据的存储;同时，通过items表和functions表将hosts、triggers这两张表进行关联，实现触发器和告警信息的存储3.2 数据处理本文在zabbix数据库表结构初始化基础上，结合平台设计需求，对表结构进行分析设计，构建数据库以满足自动化运维平台基础数据存储需求，为平台提供数据支撑通过自动化运维平台的后台服务完成zabbix数据库中监控数据的抽取，采用数据分析处理算法对数据进行分析统计并前台展示，实现运维监控实际需求以常用的“主机资源运行情况报表”为例对数据处理思路及过程进行分析首先，在hosts表中通过条件‘status=0’，筛选出被监控的主机资源信息，在items表中通过‘key_’字段筛选;其次，通过items表中的value_type字段值确认监控数据的存储表，由于主机资源运行情况报表统计频率为每天，可使用趋势表（trends表和trends_uint表）中的趋势数据进行统计;最后，通过hosts、items和trends（或trends_uint）这三张表进行联合查询，获取所需的监控数据。

同时，将通过数据抽取得到的基础监控数据进行算法处理，如：加权平均、筛选最大最小值等整合处理，并将整合处理后的最终数据存储于自动化运维平台的数据库中4 结束语本文对zabbix数据源涉及的表结构和表关系进行了分析设计，基于zabbix基础监控数据，结合运维监控实际需求完成数据整合处理，满足不同运维场景下的个性需求通过对zabbix数据源的深入研究分析并进行二次设计开发，采用目前主流的自动化运维技术，构建了一套满足运维实际需求的自动化运维监控平台，提高了运维效率和运维管理水平Reference[1]龙炜.自动化运维工具在企业信息系统管理中的应用[J].微型机与应用，2017，36（05）：102-104.[2]陈正华.国网信息系统运维自动化平台的设计[J].工业仪表与自动化装置，2017（02）：18-21.[3]谢超群.基于Zabbix高校数据中心运维监控平台的建设研究[J].长春大学学报，2018，28（12）：44-47.作者简介杨帅（1987-），男，运维工程师，现就职于国网电子商务有限公司，主要研究自动化运维技术及可视化应用等方向吴涛（1985-），男，工程师，现就职于国网电子商务有限公司，主要研究自动化运维技术及应用等方向。

李超（1989-），男，总监，现就职于国网电子商务有限公司，主要研究运维管理及自动化技术等方向史超（1988-），男，运维工程师，现就职于国网电子商务有限公司，主要研究自动化运维技术、数据库等方向田伟（1980-），男，运维工程师，现就职于国网电子商務有限公司，主要研究网络安全、自动化运维等方向E动时尚·科学工程技术2019年19期E动时尚·科学工程技术的其它文章高速铁路路基试验段的填筑工艺研究论机械采油系统的节能措施输电线路在电力施工中的质量控制加强建筑施工管理，提高建筑工程质量基于电力营销计量改造下的电价管理模式《内蒙古区域文化》课程建设研究  -全文完-。