zabbix的历史数据存储到elasticsearch中

Posted 2020-11-12 0916m

基本配置项
https://www.jianshu.com/p/bffca8128e8f
官方说这个实验性的功能支持es的版本是5.0.x - > 6.1.x，如果使用早期或更高版本的Elasticsearch，某些功能可能无法按预期工作。
测试环境的es版本是6.2.4，zabbix为4.0，也能完成zabbix的历史数据对接。
在zabbix server端配置historystorageurl为es数据库的url，同时在zabbix.conf.php中配值es的相关配置，zabbix历史数据的五个表，映射到es中的5个索引

官方提示 ：必须创建映射。 如果未按照要求创建映射，则某些功能将无法正常使用。
在我完成配置项重启zabbix服务后，历史数据交给了es处理，同时在es中自动创建出有数据的索引项，

此处有个问题，当监控项中没有text类型或者log类型的数据时，es是不会创建出这些索引的，此时如果get的话会有404 not found的报错
而且，在log类型的数据接入到es中后，timestamp字段的值不会像mysql中一样是一个时间戳，es将其设置为0
监控项的历史数据的存在时间，在es中变为一个ttl字段，单位为秒。（zabbix中历史数据的有效期最小值为3600s，1个小时，比这个值小的话就会报错。）

备注：
在原来的mysql数据库中，历史数据可以交给housekeeper来管理删除，在es中，数据是不会删除的，只是在每个文档中增加了一个ttl字段来记录这条记录的历史有效时长。单位s

zabbix_server配置文件中对hosekeeper的解释配置，就是清理数据库里过期的历史数据

查看housekeeper的执行情况 /var/log/zabbix/zabbix_server.log

大意就是说首先删除 历史表，趋势表中使用clock， 删除监控项从时间表，确认时间，提示表中。

hosekeeper当量大了挺鸡肋的，删除的速度赶不上增加的速度
优化参考：
先配置独立数据库，使用独立表空间
http://junqili.com/zabbix/zabbix-performance-tunning/
然后按照官网的这个文档对mysql 做分区
https://www.zabbix.org/wiki/Docs/howto/mysql_partition

参考资料：https://www.zabbix.com/forum/showthread.php?t=43311
https://www.zabbix.com/forum/showthread.php?t=43311&page=2