filebeat直接给es传输日志,自定义索引名

Posted sanduzxcvbnm

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了filebeat直接给es传输日志,自定义索引名相关的知识,希望对你有一定的参考价值。

ElasticStack从2019年1月29日的6.6.0版本的开始,引入了索引生命周期管理的功能,新版本的Filebeat则默认的配置开启了ILM,导致索引的命名规则被ILM策略控制。
加上这个配置就好了:

filebeat 配置关闭 ILM 即可解决Index Pattern不生效的问题
setup.ilm.enabled: false

具体配置:

#==================== Elasticsearch template setting ==========================
setup.ilm.enabled: false
setup.template.name: "filebeat-127"
setup.template.pattern: "filebeat-127-*"

setup.template.settings:
  index.number_of_shards: 1
  index.number_of_replicas: 0
  index.codec: best_compression  index.number_of_replicas: 0

#-------------------------- Elasticsearch output ------------------------------
output.elasticsearch:
  hosts: ["127.0.0.1:9200"]
  index: "filebeat-127-%{+yyyy.MM.dd}"

  username: "elastic"
  password: "xxxxxxxxxxx"

以上是关于filebeat直接给es传输日志,自定义索引名的主要内容,如果未能解决你的问题,请参考以下文章

Filebeat收集日志数据传输到Redis,通过Logstash来根据日志字段创建不同的ES索引

ELK之filebeat收集多日志并自定义索引

K8s容器日志实时收集FileBeat+ES+Kibana

多台NGINX服务器 ELK部署Filebeat的fields字段+Logstash的if 字段 采集多个日志文件写入elasticsearch 7.6.2 变更为不同索引名 自定义索引 index

Logstash动态模板映射收集Nginx的Json格式的日志

filebeat收集日志到elsticsearch中并使用ingest node的pipeline处理