云数据库-elasticsearch

Posted 2023-01-19 竹二木

我的腾讯云专栏：https://cloud.tencent.com/developer/column/90363

需求背景

我们系统使用了自研网关, 包括了api网关和准入网关，分别用来解决服务鉴权和用户身份鉴权。网关的访问日志存原先是自己部署es来存储，我们这次直接用腾讯云es来收集日志。

云es优势

1. 弹性扩容伸缩：根据业务需求自定义类型、自定义节点数、自定义容量大小、存储时间等

1. 集成可视化：购买es可直接按需生产kibana，可视化es数据，而不需要自己额外安装

1. 打通配套组件：logstash、beats 配套工具可按需创建。

插件问题

网关使用filebeat收集日志，网关日志格式是csv, 直接导入es不支持，因此网关引入了一个第三方插件elasticsearch-ingest-csv,来解决csv文件转换问题。 由于该插件比较小众，腾讯云的es默认插件不不包括，但又不支持自定义插件安装，最后又找了万能的小助手，小助手表示自定义插件还在灰度中不支持， 最后我通过内部技术论坛发帖咨询，相关同事才帮忙开通的自定义插件安装，解决了插件问题。