k8s日志收集解决方案

Posted 2020-12-19 kylingx

##k8s日志收集解决方案
把日志放到node节点的主机目录上，在到主机目录上配置rsyslog收集到专门的日志服务器。
从这个日志服务器启一个logstash或者filebeat写入es。
不建议直接从每个节点直接写入es。因为日志量大的时候可能es就会被弄死，另外这么多的filebeat也是要占用不少资源的。
如果觉得麻烦，就每个node写个文件监控。自动添加rsyslog的配置然后重启rsyslog。
这样可以保证日志不丢，还能有序插入es不会因为业务高峰把es弄死，还可以利用logstash再进行一些日志格式化的需求。
目前用这个方案，把istio的所有envoy访问日志、traefik、应用程序日志收集到es上稳定的很。现在每15分钟大概150万条记录。

#参考
from racher交流群/点