您所在位置：网站首页 > 外语文库 > 英语学习elasticsearch性能调优小建议.doc

elasticsearch性能调优小建议.doc

3页

卖家[上传人]：飞****9

文档编号：137093102

上传时间：2020-07-05

文档格式：DOC

文档大小：120.40KB

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

12 金贝

/ 3 举报版权申诉马上下载

文本预览

下载提示

常见问题

1、ElasticSearch性能测试调优版本号：5.5.2测试数据：同一天采集的数据保存在当天创建的索引下，所有索引的类型一致测试数据量：5.08亿条电脑硬件：1台，CPU 8核，内存32G1. 大批量创建索引和数据ES集群为单节点下的情况：A 在不采用批量创建数据的情况下：创建数据量8640万，用时16h35m47s，写入速度约为2270条/S。减少写入数据量，约87万，测试50次，写入平均速度约为23002500条/S。B 批量创建数据采用bluk大批量写入数据设置所需创建的内容，循环执行所需次数：写入数据量约87万条，并发数量10，请求内容条数8000，测试100次，平均耗时约为：190S，写入速率约为：4500条/S。写入效率有了明显的提升，但是此时发生了异常，有约80%的测试发生ES请求链接断开的异常。当并发请求大于10时，所有请求都发生了该异常。该异常导致的问题是：最后断开请求的数量丢失，丢失数据量约为1万条。当降低并发数量或者请求内容条数时，该问题得到解决。写入数据量并发数量内容条数测试次数平均耗时写入速率状态87万5300050240S3600条/S正常87万1050

2、0050210S4300条/S正常87万108000100190S4500条/S发生异常87万8800050220S4000条/S发生异常87万7800050230S3800条/S正常87万6800050235S3700条/S正常87万13500050218S4000条/S发生异常8122万8500056h41m50s3400条/S正常C 调优虽然批量添加效率有了显著提升，但是如何再继续提升性能呢？除了新增硬件和新增节点外，合理的配置线程池，可以有效的提升性能。5.x版本的ES，已经将线程池中的index和bulk固定为CPU核心数+1；所以调整这两个指标的对列数，可以解决上面测试中因为线程池线程数量不足导致的请求断开的异常。但是队列数也不建议无线增大，因为这个对内存有较大的压力。一下为测试后较合理的配置：修改的文件是：elasticsearch目录下config文件夹的elasticsearch.yml文件调优后，可以支持多线程同时启动bulk添加数据，而不会因为线程池的问题导致写入数据丢失问题，让磁盘的读写达到最大化，从而实现对大化的写入数据。优化后，写入效率：4500条/S，测试可同时启动5个线程。因为个人电脑性能原因，没有继续测试。D 其他新增数据节点：将新增的数据节点设置为专门存储和查询数据的数据节点，这些节点能有效的提升写入和查询效率。node.master: false node.data: truenode.ingest:false减少shard刷新间隔：完成bulk插入后再修改为初始值

《elasticsearch性能调优小建议.doc》由会员飞****9分享，可在线阅读，更多相关《elasticsearch性能调优小建议.doc》请在金锄头文库上搜索。

点击阅读更多内容

TA的资源