Docker日志收集

Posted 2023-02-27

参考技术A

Docker的应用为我们带来便利的同时，日志集中化问题就越来越有必要性了。

在收集之前，我们先来简单了解下docker日志处理的机制。当启动一个容器的时候，它其实是docker daemon的一个子进程，docker daemon可以拿到你容器里面进程的标准输出，拿到标准输出后，它会通过自身的一个LogDriver模块来处理，LogDriver支持的方式很多，可以写到本地的文件（默认方式），可以发送到syslog等，见下图：

目前，常见的收集方式有下面几种：

在日志收集的过程中，需要特别考虑性能的问题。试想一下，当容器的流量比较大的时候，势必日志也会随着大量地产生，这时就会有个问题，日志收集agent必然会跟容器抢占宿主机的资源，为了避免这个问题，在收集选型的时候就需要注意：

综上所属，最佳实践就是采用 旁路模式 来收集，并且使用容器方式来运行并限定使用的资源；最终采用了 logspout+Fluentd 的方案（架构图见下），采用的理由如下：

logspout通过docker.sock监听本地容器的启动，通过docker API获取到这个新容器的日志流，并将这个日志流通过udp的协议发送给fluentd处理，fluentd处理完成后发送给后续的日志系统。

最后，受阿里云fluentd-pilot的影响，我将官方的logspout进行一些小的修改， 请见 ：

下面个出个docker-compose.yml, 通过docker-compose up就可以运行了；

fluent的简单配置：

最后，可以通过查看fluent的log来查看格式化的容器日志；