FileBeat向elasticsearch传入数据，并使用GROK处理

Posted 2023-04-19

参考技术A 最近在捣鼓Filebeat监听springboot的日志然后将其传入到es中。这个时候日志肯定要切分单独字段存储。这个时候用到了es自带的ingest node pipeline 功能，使用grok 使用正则将log进行切分

参考资料： https://www.elastic.co/guide/en/beats/filebeat/current/configuring-ingest-node.html

这篇文档很详细了说明了Filebeat怎么去传入数据

添加如下配置

根据对应的json文件注册pipeline，使用命令

这样的话就可以了，在对应的pipeline.json写上相应的grok就可以了。

对应的json文件阳历(会在grok相关文章详细解释)

安装Filebeat+Elasticsearch+Kibana（单节点）

参考技术A https://www.elastic.co/cn/support/matrix#matrix_compatibility

https://www.elastic.co/guide/en/elastic-stack-get-started/7.16/get-started-elastic-stack.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/configuring-security.html

https://blog.csdn.net/fjxcsdn/article/details/102753475

https://www.cnblogs.com/cjsblog/archive/2018/08/08/9445792.html
https://blog.csdn.net/UbuntuTouch/article/details/105933699