计算机论文：基于时序数据库在数采存储的设计及应用.docx

计算机论文：基于时序数据库在数采存储的设计及应用 　摘要：　本文介绍时序数据库的概念,从卷烟企业制丝车间数据实时采集的特点出发分析、总结数据的核心需求,分析时序数据的存储以及与传统数据库的操作性能对比,引入对时序数据库在卷烟企业制丝车间应用的思考以及提出简单应用的实现 　　关键词：　时序数据库; 存储; 历史趋势; 　　1 、前言 　　随着我国烟草行业的不断发展，为国家、社会积累了巨大财富，成为国家财税的重要来源目前烟草行业在我国经济与社会发展中占有重要地位近些年来国家对烟草行业的生产规范提出了更高的要求随着最新的计算机技术正在不断的运用到烟草的生产制造过程中，在提高生产自动化水平的同时也提高了生产数据的可追溯性本文将重点阐述时序数据库在卷烟企业制丝车间的应用旨在解决卷烟企业制丝车间生产数据采集遇到的一些问题 　　2 、时序数据库 　　2.1、 时序数据库简述 　　时序数据库全称时间序列数据库，时序数据库主要处理带时间标签按时间顺序变化其值也发生变化的数据，这种数据也称为时序数据时序数据有如下几个特点： 　　(1）基本上是插入操作较多且无更新和删除的需求； 　　(2）数据带有时间属性，且数据量随着时间递增； 　　(3）插入数据多，每秒钟插入可到达千万甚至是上亿的数据量； 　　(4）查询、聚合等操作主要针对近期插入的数据； 　　(5）时序数据能够还原数据的变化状态； 　　(6）可以通过分析过去时序数据的变化、检测现在的变化，以达到预测未来如何变化的目的。

　　对于时序数据库以上特点，在有时序数据产生，并且需要展现其历史趋势、周期规律、异常性的，进一步对未来做出预测分析的，都是时序数据库适合的场景 　　2.2、 时序数据库的存储方式 　　关系型数据库存储几乎是使用B tree，这是由于在查询和顺序插入时有利于减少磁盘寻道次数的组织形式磁盘寻道时间是非常慢的，一般在10ms左右，这是磁盘的随机读写慢的根本原因 　　对于大多数都是写入场景的时序数据库，B tree就显得不太适用频繁的写入操作要不断的检索和更新索引这会出现大量的随机IO,这样在磁盘寻道上极其的耗费时间大部分时序数据库采用LSM tree替换B tree批量的顺序写入数据要远比随机写入数据性能高，使用在文件后追加写入的模式，没有删除和修改操作，这样极大程度的提高了数据写入的能力LSM tree包括内存数据结构和磁盘数据文件两部分LSM tree操作流程如下： 　　(1）数据写入和更新时会把数据记录储存在WAL中，可用于故障恢复 　　(2）当写完WAL后，会把该条数据写入内存的SSTable里面也称Memtable 　　(3）当Memtable超过一定大小后，会把它保存到磁盘里然后再重新生成一个Memtable。

　　(4）当磁盘上的Memtable超过一定的大小或数量时，会清除掉被标记删除的数据以及多版本数据的合并，减小占用磁盘空间 　　图1为LSM tree操作分析图 　　图1 LSM tree操作分析 　　时序数据库使用LSM tree的存储方式，可以压缩和合并数据文件，缩短读取路径，清除无用数据，提高磁盘空间的利用效率使得时序数据库可以快速存储和高效处理海量时序数据，是处理海量数据的一项重要技术时序数据的存储空间减半，在顺序查询方面速度极大的提高它将在工业互联网时代数据处理发挥着重要作用 　　3 、制丝车间数据库需求分析 　　3.1、 数据特点分析 　　卷烟行业制丝车间工艺复杂，生产设备多，产生过程中需要实时的进行数据采集生产过程中涉及到的数据包括水分、温度、液位、流量、风量、频率等多种数据，这些数据在生产过程中实时产生，其产生频率快，每个监测点每秒能产生多条数据；这些数据依托于采集时间，每一条数据都有唯一的一个时间与之相对应；监测点的数据量大，整个制丝车间约有十万个的监测点；这些数据极其的耗费磁盘的存储空间经初步统计每个月的生产数据需要消耗近1TB的存储空间由于是实时采集记录生产数据，对数据不需要进行频繁的更新和删除操作。

　　3.2 、数据存储分析 　　目前数据的存储主要是使用关系型数据库来存储使用关系型数据库为了实现生产过程中数据的存储，一般采用降低数采频率的方法来实现如几秒甚至几十秒才采集一个监测点的数据关系型数据库的表模型是行列结构,含用来标识唯一行的主键或者多条索引,每一行标识一条记录,这样会存在大量冗余的属性数据,对磁盘空间产生极大的消耗即使这样降低数采频率每月也能产生1TB左右的数据，极其耗费磁盘空间，使得数据存储成本上升而且这样的做法也极大的降低了实时数据的精确性和可靠性，不利于数据的监控及分析为了系统能较快的实现数据查询结果，会在关系数据表中建立主键或索引，面对高并发的数据写入时，需要不断的重建这些索引，极大的降低数据的写入性能在数据存储达到一定数量级时，为了提高系统性能常采用删除历史数据的做法，这样对采集到的数据造成了极大的浪费，也使得给系统和数据的维护带来了极大的困难 　　对于制丝车间的实时、高频率、海量写入和存储的需求，关系型数据库表现的不尽人意而时序数据库则能很好的满足需求相对于关系型数据库它极大的减小了存储空间，减小数据的存储成本时间序列函数不但有着优越的写入性能并且能实现较快查询性能和存储较长时间的历史数据，这使得数据的使用价值也有了极大的提高。

　　3.3、 数据访问分析 　　制丝车间中控管理系统应具备实时化、自动化、智能化这些特点中控管理系统需要实现生产过程的实时监测、进行完善的质量分析、故障监测及报备、综合管理等功能，而这些功能的实现需要建立在海量实时信息高效处理的基础上为了使生产能够有序的进行，系统需要实时监测设备的运行参数、进行生产统计分析报表、设备负载分析及预测等功能为了实现这些功能，数据库需要长时间的处于快速且高负荷的运行而关系型数据库处于这种运行环境要实现这些功能会产生严重的性能瓶颈当数据长时间处于无响应的状态时容易导致服务器宕机，严重影响生产任务而时序数据库支持大规模的数据监测点，在普通服务器上能支持上百万个监测点具有10万-60万事件/秒的数据存储能力、100万-800万事件/秒的数据访问能力时序数据库这些优越的性能可以很好的实现制丝车间中控管理系统的这些需求 　　4、 基于时序数据库在数采存储的设计方案 　　制丝车间管理系统逻辑层次大都可分为设备控制、集中监控和生产管理三层体系结构构成工业网络ProfiNet、ProfiBus构成设备控制层通讯链路，工业以太网（环网）用于PLC间通讯要求，TCP/IP以太网构成上位通讯链路满足集中监控和生产管理层数据通讯要求，车间数据管理系统为MES系统提供数据。

　　数据采集存储主要工作在集中监控层，主要负责与设备的适配、数据采集、数据校验、数据存储和数据分析等工作，为集中监控和生产管理提供基础数据源，同时也可与第三方系统进行交互，作为其它系统的数据来源 　　时序数据库大部分支持原生的HTTP，内置HTTP API，提供了快速访问服务，同时支持类似Sql语法，因此在调用查询时相对简单，下面以时序数据库配合自定义采集器搭建制丝车间数据采集模块进行说明系统总体设计如图2所示 　　图2 系统总体设计 　　在数据采集存储服务器上部署数据采集服务和时序数据库，数据采集服务根据配置时间持续向时序数据库转存数据，同时为其它系统，包括制丝集中监控提供数据源 　　在卷烟企业制丝车间监控方向，由于制丝车间过程管理的重点是生产过程的监视与控制，而车间生产过程数据是制丝车间管理系统乃至MES中各个系统运行和交互的支撑，由此可见生产过程数据采集存储是整个系统最基础也是最核心的部分烟草行业制丝车间产品的生产过程中产生的数据种类复杂，加上生产流程复杂，对数据实时全面采集和存储的方案提出了更高的要求这些数据不仅仅要实时采集快速写入存储，还应支持快速查询用做可视化的展示，如趋势曲线图、统计分析图表、数据模型的模拟还原等，帮助管理人员分析判断。

并且采集到的数据也能够用来做大数据分析，通过大数据分析帮助企业节能减排，增加效益 　　5 、基于时序数据库在制丝车间的应用 　　5.1 、趋势曲线 　　在制丝车间应用中采用关系型数据库进行数据采集时，因数采周期长，单个数采周期内时间跨度长、数值变化大这样采集到的数据不能够准确的反应生产中设备的瞬时值，用此方式绘制出来的趋势曲线与实际状态趋势存在一定的差异，在显示精密趋势曲线时显然表现的不太可靠而时序数据库可以很好的解决数据采集周期长的问题，因为它的采样频率能达到上千赫兹，也就是说时序数据库能在一毫秒内完成一个数据甚至多个数据采样周期，这样绘制出来的趋势曲线更加真实的还原实际状态趋势，较完整的再现数据的实时变化情况，这大大提高了数据的准确性，可为专业的分析人员提供高精度、高密度的数据来源，有利于产品质量及设备质量的分析 　　5.2、 报警提示信息 　　卷烟企业制丝车间对生产环境的要求较高各个产品在每个工艺段的温度、水分、风量等要求不尽相同，当生产环境不符合要求时系统需及时报警，告知相关人员进行处理，需要对这些环境因素进行实时监测来确保生产环境符合工艺要求除环境因素外生产过程中还有许多参数需要进行实时监测，如加香/加料精度、各流量秤的瞬时值、设备运行的电压电流、电机频率等。

当参数发生异常时，管理系统能够对参数值进行判断及时发出并记录报警信息因为时序数据库可以高密度、高精度的记录实时数据，相关人员可以通过分析发生异常前后的数据或趋势曲线来分析发生异常的原因，从而制定准确有效的应对措施 　　5.3、 多平台多系统的数据共享 　　大部分时序数据库都实现了数据集成、协同、服务共享，并且提供了丰富的应用程序接口和服务共享调用能兼容多种操作系统如：Windows、Linux等支持多种编程语言：如C语言、C#、PHP、JAVA等，这种优越的兼容性可以方便的实现多个系统的数据共享各个应用系统可以直接通过API快速的从数据中心获取到自己所需要的数据实现多系统之间的集成、数据互联如可以结合仓储物流系统实现物料运输及物料存储信息的共享、集成MES系统实现生产制造执行的数据共享等集成多种系统使车间生产和管理更加多元化、智能化，使数据分析更加准确、专业、全面 　　6、 结语 　　本文介绍时序数据库的概念，对数据核心需求进行思考，对时序数据的存储进行分析，同时提出时序数据库在卷烟企业制丝车间的简单应用，可以看出时序数据库将是未来一个非常具有市场性、挑战性的数据库时序数据库现在虽然已经有了部分服务，但仍然存在各种各样问题，很难谈得上成熟，有待于对时序数据库的深入应用，进而提出更加完善可行的解决方案。

　　参考文献 　　[1] 徐化岩,初彦龙.基于influxDB的工业时序数据库引擎设计[J].计算机应用与软件,2019,36(9):33.　　[2] 尹展.时序数据库在风电监控系统中的应用[J].计算机时代,2012(8):35.　　[3] 王宏志,何震瀛,王鹏,等.大数据管理系统。