Tomcat容器日志收集方案fluentd+elasticsearch+kilbana

Posted 2020-09-30

  在上一遍博文中我们介绍了nginx容器访问日志收集的方案，我们使用EFK的架构来完成对容器日志内应用日志的收集，如果不知道什么是EFK架构，那么请访问以下链接获取相关的帮助

Nginx容器日志收集方案fluentd+elasticsearch+kilbana

  如果你已经认真阅读了上面的链接，并撑握了其用法，那么再来看本博文（针对于初学者），下面假设我们已经搭建好了上一讲所需要的基础环境，我们接下来就直接开始步入正题。

  在步入正题之前我们首先需要确认我们需要完成的目标与效果，同样我们在启动Tomcat容器的时候使用fluentd日志驱动，将标准输出的日志发送到fluentd服务端，然后通过fluentd服务端处理日志发送至ES，最后再通过kilbana展示日志。就这么简单？NO NO NO!!!经测试默认情况下Tomcat容器（docker hub官方镜像）内catalina的日志会自动从stdout输出，并发送到fluentd服务端，但access日志不会，这是我们第一个需要解决的技术问题，另外Tomcat的日志默认情况下是每天滚动生成，每天日志名称都不一样，这是我们需要解决的第二个问题，假设我们解决了以上两个问题，最后还会存在一个问题，也就是我们输出的日志有两种类型，我们又如何通过fluentd服务端区分不同的日志，并发送到ES存储为不同的Index。我们明白了目标和技术难题下面我们就一步一步来解决。

第一个问题解决方法（先解决第二个问题再解决第一个问题）：

  我们可以手工指定将access日志输出到/dev/stdout，所以此方法刚下载下来的镜像无法直接使用，我们需要重新build该镜像创建一个/dev/stdou的软链接到Tomcat的access日志文件路径。

ln -s /dev/stdout  /usr/local/tomcat/logs/localhost_access_log.txt

第二个问题解决方法：

  默认docker hub官方的tomcat镜像的日志是每天滚动生成的，所以我们需要重新build该镜像，关闭日志的滚动生成

关闭catalina日志的滚动生成

编辑容器内配置文件：/usr/local/tomcat/conf/logging.properties

#下面这一行是已经存在的一行，用来定义文件的前缀
1catalina.org.apache.juli.AsyncFileHandler.prefix = catalina.
#下面两行是需要加入的内容，分别为定义文件的后缀和关闭日志轮替，最终日志名称为catalina.out
1catalina.org.apache.juli.AsyncFileHandler.suffix = out
1catalina.org.apache.juli.AsyncFileHandler.rotatable = False

关闭access日志的滚生成

编辑配置文件：/usr/local/tomcat/conf/server.xml

#配置中rotatable="false"是我们加入的内容，而pattern里面的内容是我们需要修改为的内容，用来将访问日志转换为json格式用来关闭日志的轮替，最终日志名称为localhost_access_log.txt
        <Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs"
               prefix="localhost_access_log" suffix=".txt"
               pattern="{&quot;client&quot;:&quot;%h&quot;,
                         &quot;client user&quot;:&quot;%l&quot;,
                         &quot;authenticated&quot;:&quot;%u&quot;,
                         &quot;access time&quot;:&quot;%t&quot;,
                         &quot;method&quot;:&quot;%r&quot;,
                         &quot;status&quot;:&quot;%s&quot;,
                         &quot;send bytes&quot;:&quot;%b&quot;,
                         &quot;Query?string&quot;:&quot;%q&quot;,
                         &quot;partner&quot;:&quot;%{Referer}i&quot;,
                         &quot;Agent version&quot;:&quot;%{User-Agent}i&quot;}"
               rotatable="false" />

第三个问题解决方法：

这里我们可以采用通过fluentd服务端对收集过来的日志再进行过滤，分类重新打标签，最后再发送到ES存为不同的Index，修改fluentd服务端配置文件如下：

#如果没有rewrite-tag-filter插件请安装gem install fluent-plugin-rewrite-tag-filter
<source>
  @type forward
  port 24224
  bind 0.0.0.0
</source>

#下面根据tomcat.test.docker标签进行过滤，因为里面有两种日志输出，分别为access和catalina
<match tomcat.test.docker>
  @type copy
  <store>
    @type rewrite_tag_filter
    #这里是匹配我们的catalina日志，根据log字段用正则匹配，这里需要根据自己字段进行修改正则
    rewriterule1 log ^\d.*$ catalina.${tag}
  </store>  
  <store>
    @type rewrite_tag_filter
    #因为我们的访问日志转换为了json，所以开头一定为{，这里根据正则匹配，匹配到后重新打tag
    rewriterule1 log ^{.*$ access.${tag}
  </store>
</match>

#对访问日志做json转换，**代表任何字符
<filter access.**>
  @type parser
  format json
  key_name log
</filter>

#将访问日志输出到ES，索引名为tomcat.test.docker.access
<match access.**>
  @type elasticsearch
  host 192.168.1.23
  port 9200
  logstash_format true
  logstash_prefix tomcat.test.docker.access
  logstash_dateformat %Y-%m-%d
  flush_interval 5s
  type_name docker_container_log
  include_tag_key true
</match>

#将catalina日志输出到ES，索引名为tomcat.test.docker.catalina
<match catalina.**>
  @type elasticsearch
  host 192.168.1.23
  port 9200
  logstash_format true
  logstash_prefix tomcat.test.docker.catalina
  logstash_dateformat %Y-%m-%d
  flush_interval 5s
  type_name docker_container_log
  include_tag_key true
</match>

  完成以上配置以后我们只要启动我们的fluentd服务端服务和Tomcat容器，并访问下我们的Tomcat站点，这时候就可以在ES中查看到我们所需要的Index了

systemctl start td-agent
docker run -dit -p 80:8080 --log-driver=fluentd --log-opt fluentd-address=192.168.3.232:24224 --log-opt tag="tomcat.test.docker" tomcat

上面需要注意tag，需要和fluentd服务端配置文件里面接收的tag一样

最后还有一个技术问题，一直没有解决，需要大家独立思考，如果有好的解决方案可以在博文中留言，如果后续我解决了，会及时更新此博文。问题就是catalina的错误日志多行合并处理，目前没有找到适合的方法

.

本文出自 “蓝色_风暴” 博客，转载请与作者联系！