slf4j-logback 日志以json格式导入ELK

Posted 半路雨歌

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了slf4j-logback 日志以json格式导入ELK相关的知识,希望对你有一定的参考价值。

同事整理的,在此分享。logback,log4j2 等slf4j的日志实现都可以以json格式输出日志, 这里采用的是logback。当然也可以以文本行的格式输出,然后在logstash里通过grok解析,但是直接以json格式输出,在logstash处理时效率会高一点。

Logback 输出 Json格式日志文件

 为了让 logback 输出JSON 格式的日志文件,需要在pom.xml 加入如下依赖

<dependency>
   <groupId>net.logstash.logback</groupId>
   <artifactId>logstash-logback-encoder</artifactId>
   <version>4.8</version>
   <scope>runtime</scope>
</dependency>

logback日志配置示例

<appender name="errorFile" class="ch.qos.logback.core.rolling.RollingFileAppender">
   <filter class="ch.qos.logback.classic.filter.LevelFilter">
      <level>ERROR</level>
      <onMatch>ACCEPT</onMatch>
      <onMismatch>DENY</onMismatch>
   </filter>
   <file>${log.dir}/elk/error.log</file> <!-- 当前的日志文件文件放在 elk文件下,该日志的内容会被filebeat传送到es --> 
   <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">  <! -- 历史日志会放到 bak 文件下,最多保存7天的历史,最多占用 1G的空间 -->
      <fileNamePattern>${log.dir}/bak/error.%d{yyyy-MM-dd}.log</fileNamePattern>
      <maxHistory>7</maxHistory>
      <totalSizeCap>1GB</totalSizeCap>
   </rollingPolicy>
   <encoder class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">
       
      <providers>
         <pattern>
            <pattern>
              {
              "tags": ["errorlog"],
              "project""myproject",
              "timestamp""%date{\"yyyy-MM-dd‘T‘HH:mm:ss,SSSZ\"}",
              "log_level""%level",
              "thread""%thread",
              "class_name""%class",
              "line_number""%line",
              "message""%message",
              "stack_trace""%exception{5}",
              "req_id""%X{reqId}",
              "elapsed_time""#asLong{%X{elapsedTime}}"
              }
            </pattern>
         </pattern>
      </providers>
   </encoder>
</appender>

 

 

Json 字段说明:

名称
说明
备注
 
 
 
 
 
tags 用于说明这条日志是属于哪一类日志            
timestamp
日志记录时间            
project
系统名称,该日志来自于哪个系统            
log_level
输出日志级别            
thread
输出产生日志的线程名。            
class_name
输出执行记录请求的调用者的全限定名
 
         
line_number
输出执行日志请求的行号
 
         
message
输出应用程序提供的信息            
stack_trace
异常栈信息            
req_id
请求ID,用于追踪请求 需要引入aop-logging          
elapsed_time
该方法执行时间,单位: 毫秒 需要引入aop-logging          
%X{key}: 表示该项来自于SLF4j MDC,需要引入 aop-logging
<dependency>
        <groupId>com.cloud</groupId>
         <artifactId>xspring-aop-logging</artifactId>
        <version>0.7.1</version>
</dependency>
 
针对web应用,在 web.xml 中加入 ReqIdFilter,该过滤器会在MDC 加入 reqId
<filter>
    <filter-name>aopLogReqIdFilter</filter-name>
    <filter-class>com.github.nickvl.xspring.core.log.aop.ReqIdFilter</filter-class>
</filter>
 
<filter-mapping>
    <filter-name>aopLogReqIdFilter</filter-name>
    <url-pattern>/*</url-pattern>
</filter-mapping>
 
 
or register in springboot like this:
 
 
@Bean
public FilterRegistrationBean getDemoFilter(){
    ReqIdFilter reqIdFilter=new ReqIdFilter();
    FilterRegistrationBean registrationBean=new FilterRegistrationBean();
    registrationBean.setFilter(reqIdFilter);
    List<String> urlPatterns=new ArrayList<String>();
    urlPatterns.add("/*");
    registrationBean.setUrlPatterns(urlPatterns);
    registrationBean.setOrder(100);
    return registrationBean;
}
 
如果需要记录该方法执行时间: elapsed_time,如果在该类或者方法上加入如下注解:
 
import com.github.nickvl.xspring.core.log.aop.annotation.LogDebug;
import com.github.nickvl.xspring.core.log.aop.annotation.LogInfo;
 
@LogInfo  // 当logger 设为level=INFO 会输出
@LogException(value = {@Exc(value = Exception.class, stacktrace = false)}, warn = {@Exc({IllegalArgumentException.class})}) //
当logger 设为level=error 会输出
 
针对dubbo 消费者的日志记录,dubbo消费者是通过 javassist 生成的动态类型,如果要监控该dubbo接口的传入参数,返回值,和调用时间 需要引入aop-logging,
以及在 eye-rpc包中的接口上给对应的类或方法 加上上面的注解。
dubbo 消费者的日志会输出如下配置:
 
 <logger name="com.alibaba.dubbo.common.bytecode" level="INFO" additivity="false">
   <appender-ref ref="dubboApiFile"/>
</logger>
 

ElasticSearch 模板设置

curl -XPUT http://localhost:9200/_template/log -d ‘{
  "mappings": {
    "_default_": {
      "_all": {
        "enabled"false
      },
      "_meta": {
        "version""5.1.1"
      },
      "dynamic_templates": [
        {
          "strings_as_keyword": {
            "mapping": {
              "ignore_above"1024,
              "type""keyword"
            },
            "match_mapping_type""string"
          }
        }
      ],
      "properties": {
        "@timestamp": {
          "type""date"
        },
        "beat": {
          "properties": {
            "hostname": {
              "ignore_above"1024,
              "type""keyword"
            },
            "name": {
              "ignore_above"1024,
              "type""keyword"
            },
            "version": {
              "ignore_above"1024,
              "type""keyword"
            }
          }
        },
        "input_type": {
          "ignore_above"1024,
          "type""keyword"
        },
        "message": {
          "norms"false,
          "type""text"
        },
        "offset": {
          "type""long"
        },
        "source": {
          "ignore_above"1024,
          "type""keyword"
        },
        "tags": {
          "ignore_above"1024,
          "type""keyword"
        },
        "type": {
          "ignore_above"1024,
          "type""keyword"
        }
      }
    }
  },
  "order"0,
  "settings": {
    "index.refresh_interval""5s"
  },
  "template""log-*"
}‘
 
curl -XPUT http://localhost:9200/_template/log-java -d ‘
 
{
  "mappings": {
    "_default_": {
      "properties": {
        "log_level": {
          "ignore_above"1024,
          "type""keyword"
        },
        "project": {
          "ignore_above"1024,
          "type""keyword"
        },
        "thread": {
          "ignore_above"1024,
          "type""keyword"
        },
        "req_id": {
          "ignore_above"1024,
          "type""keyword"
        },
        "class_name": {
          "ignore_above"1024,
          "type""keyword"
        },
        "line_number": {
          "type""long"
        },
        "exception_class":{
          "ignore_above"1024,
          "type""keyword"
        },
        "elapsed_time": {
          "type""long"
        },
        
        "stack_trace": {
          "type""keyword"
        }
      }
    }
  },
  "order"1,
  "settings": {
    "index.refresh_interval""5s"
  },
  "template""log-java-*"
}‘

logstatsh 设置

logstash-java-log
if [fields][logType] == "java" {
    json {
        source => "message"
        remove_field => ["offset"]
    }
    date {
        match => ["timestamp","yyyy-MM-dd‘T‘HH:mm:ss,SSSZ"]
        remove_field => ["timestamp"]
    }
    if [stack_trace] {
         mutate {
            add_field => { "exception_class" => "%{stack_trace}" }
        }
    }
    if [exception_class] {
         mutate {
            gsub => [
                "exception_class""\n""",
                "exception_class"":.*"""
            ]
        }
    }
}

filebeat 设置

filebeat.yml
filebeat.prospectors:
- input_type: log
  paths:
    - /eyebiz/logs/eyebiz-service/elk/*.log   # eyebiz-service 日志
    - /eyebiz/logs/eyebiz-web/elk/*.log       # eyebiz-web 日志
  fields:
    logType: "java"
    docType: "log-java-dev"

 

以上是关于slf4j-logback 日志以json格式导入ELK的主要内容,如果未能解决你的问题,请参考以下文章

将拼花地板转换为json以进行dynamodb导入

将 ModelState 转换为 JSON 以进行日志记录

以 Protocol Buffer 格式导入数据

json 鱿鱼日志导入elasticsearch的模板设置

K8S日志收集:容器日志输出JSON,自动采集至ES

分布式日志方案