将日志输出到Docker容器外

Posted lonelyxmas

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了将日志输出到Docker容器外相关的知识,希望对你有一定的参考价值。

原文:将日志输出到Docker容器外

1.1 使用 Docker 容器日志

我们可以利用 docker logs 命令查看 Docker 容器内部应用程序运行时所产生的日志,可以免除首先进入 Docker 容器,再打开应用程序的日志文件的过程。docker logs 会监控容器中操作系统的标准输出设备(STDOUT),一旦 STDOUT 有数据产生,就会将这些数据传输到另一个“设备”中,该 Docker 的被称为“日志驱动(Logging Driver)”

1.2 Docker 日志驱动

例如,我们有一个容器实例 ID 为 “da6743d61e1a” ,随后我们使用 docker logs 命令,查看 da6743d61e1a 容器的日志

docker logs -f da6743d61e1a

此时,Docker 日志也在同步输出,输出的日志类似下面这样。

  .   ____          _            __ _ _
 /\ / ___‘_ __ _ _(_)_ __  __ _    ( ( )\___ | ‘_ | ‘_| | ‘_ / _` |     \/  ___)| |_)| | | | | || (_| |  ) ) ) )
  ‘  |____| .__|_| |_|_| |_\__, | / / / /
 =========|_|==============|___/=/_/_/_/
 :: Spring Boot ::        (v1.5.3.RELEASE)

2018-08-31 14:39:34.608  INFO 8 --- [           main] com.ctego.inventory.server.Server        : Starting Server on ctego-inventory-srv-55798d4965-lfdxn with PID 8 (/var/ctego/server.jar started by root in /)
2018-08-31 14:39:34.696 DEBUG 8 --- [           main] com.ctego.inventory.server.Server        : Running with Spring Boot v1.5.3.RELEASE, Spring v4.3.8.RELEASE
2018-08-31 14:39:34.697  INFO 8 --- [           main] com.ctego.inventory.server.Server        : No active profile set, falling back to default profiles: default
2018-08-31 14:39:46.125  INFO 8 --- [           main] c.l.s.valid.DefaultValidConfig           : 开启参数校验
2018-08-31 14:39:48.102  INFO 8 --- [           main] org.xnio                                 : XNIO version 3.3.6.Final
2018-08-31 14:39:48.208  INFO 8 --- [           main] org.xnio.nio                             : XNIO NIO Implementation Version 3.3.6.Final
2018-08-31 14:39:48.602  WARN 8 --- [           main] io.undertow.websockets.jsr               : UT026009: XNIO worker was not set on WebSocketDeploymentInfo, the default worker will be used
2018-08-31 14:39:48.602  WARN 8 --- [           main] io.undertow.websockets.jsr               : UT026010: Buffer pool was not set on WebSocketDeploymentInfo, the default pool will be used
2018-08-31 14:39:48.701  INFO 8 --- [           main] io.undertow.servlet                      : Initializing Spring embedded WebApplicationContext

Docker 是怎样做到的呢?或者说,所谓的 Docker 日志驱动,到底做了些什么事情?
我们使用 docker info 命令,可以看到 Docker 容器的相关信息,其中有一项 Logging Driver 的字段。

docker info | grep ‘Logging Driver‘

通过输入以上命令,将得到Docker 当前所设置的日志驱动类型:journald

Logging Driver: journald

其实,Docker 已为我们提供了大量的日志驱动类型。

  • none:容器不输出任何日志;
  • json-file:容器输出的日志以 JSON 格式写入文件中(默认);
  • syslog:容器输出的日志写入宿主机的 Syslog 中;
  • journald:容器输出的日志写入宿主机的 Journald 中;
  • gelf:容器输出到日志以 GELF(Graylog Extended Log Format)格式写入 Graylog中;
  • fluentd:容器输出的日志写入宿主机的 Fluented 中;
  • awslogs:容器输出的日志写入 Amazon CloudWatch Logs 中;
  • splunk:容器输出的日志写入 splunk 中;
  • etwlogs:容器输出的日志写入 ETW (Event Tracing for Windows);
  • mats:容器输出的日志写入 NATS 服务中;
    我们可以在 docker run 命令中通过 --log-driver 参数来设置具体的 Docker 日志驱动,也可以通过 --log-opt 参数来指定对应日志驱动的相关选项。就拿 json-file 来说,其实可以这样启动 Docker 容器:
docker run -d -p 80:80 --log-driver json-file --log-opt max-size=10m --log-opt max-file=3 --name nginx nginx

通过 --log-opt 参数为 json-file 日志驱动添加了两个选项,max-size=10m 表示 JSON 文件最大为 10MB(超过 10MB 就会自动生成新文件),max-file=3 表示 JSON 文件最多为3个(超过3个就会自动删除多余的旧文件)
除了在启动 Docker 容器时,可指定日志驱动以外,还可以通过修改 Docker 配置文件来指定日志驱动。
打开配置文件 /etc/sysconfig/docker,找到以下配置片段:

OPTIONS=‘--selinux-enabled --log-driver=journald --signature-verification=false‘
if [ -z "${DOCKER_CERT_PATH}" ]; then
    DOCKER_CERT_PATH=/etc/docker
fi

可以看出,默认的日志驱动为 journald,把它修改为 syslog

--log-driver=syslog

然后重启 docker

systemctl restart docker

本文中所使用的 docker 版本为 1.13.1
新版本的docker中,已废弃/etc/sysconfig/docker这种配置方式,转而采用/etc/docker/daemon.json来配置
详情请阅读 官方文档

以上众多日志驱动类型中,较为常用 的是 Syslog,因为 Syslog 是 Linux 的日志系统,很多日志分析工具都可以从 Syslog 中获取日志,比如流行的 ELK(Elasticsearch、Logstash、Kibana)日志中心。Logstash 用于收集日志,Syslog 中写入的日志可转发到 Logstash 中,随后将日志存入 Elasticsearch 中,最后可通过 Kibana 来查询日志。
接下来咱们的目标是将 Docker 容器中输出的日志写入 Syslog,那么后面需要做的就是将 Syslog 接入 ELK 了。

1.3 Linux 日志系统:Syslog

默认,Linux 操作系统已经安装了 Syslog 软件包,但它叫 Rsyslog。实际上,Rsyslog 是 Syslog 标准的一种实现,还有一种叫 Syslog-ng 的第三方实现。虽然 Syslog-ng 的功能较为强大,但我们还是选择使用 Rsyslog,因为操作系统已经预装了,我们无须单独安装,可以通过以下命令查看 Rsyslog 是否已安装。

[root@uat-k8s-master1 ~]# rsyslogd -v
rsyslogd 8.24.0, compiled with:
    PLATFORM:               x86_64-redhat-linux-gnu
    PLATFORM (lsb_release -d):      
    FEATURE_REGEXP:             Yes
    GSSAPI Kerberos 5 support:      Yes
    FEATURE_DEBUG (debug build, slow code): No
    32bit Atomic operations supported:  Yes
    64bit Atomic operations supported:  Yes
    memory allocator:           system default
    Runtime Instrumentation (slow code):    No
    uuid support:               Yes
    Number of Bits in RainerScript integers: 64

如果要开启 Rsyslog 服务,我们必须对 Rsyslog 进行配置,打开文件 vi /etc/rsyslog.conf
在 rsyslog.conf 文件中有一段配置,我们需要手工去开启

$ModLoad imtcp
$InputTcpServerRun 514

重启 Rsyslog 服务,否则配置无法生效

systemctl restart rsyslog

此时,我们可以查看本地是否对外开启了 514 端口

[root@uat-k8s-master1 ~]# netstat -anpt | grep 514
tcp        0      0 0.0.0.0:514             0.0.0.0:*               LISTEN      20681/rsyslogd      
tcp6       0      0 :::514  

以上是关于将日志输出到Docker容器外的主要内容,如果未能解决你的问题,请参考以下文章

如何将多个 docker 容器的日志发送和聚合到日志中?

docker容器内部日志本地怎么查看

docker容器日志存储多久

Docker 日志最佳实践

docker一次查看两个容器日志

对docker容器产生的日志做轮转