zipkin+elk微服务日志收集分析系统

Posted z-jx

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了zipkin+elk微服务日志收集分析系统相关的知识,希望对你有一定的参考价值。

docker安装elk日志分析系统

在win10上安装docker环境

tip:win7/8

win7、win8 系统
win7、win8 等需要利用 docker toolbox 来安装,国内可以使用阿里云的镜像来下载,下载地址:http://mirrors.aliyun.com/docker-toolbox/windows/docker-toolbox/

win10

现在 Docker 有专门的 Win10 专业版系统的安装包,需要开启Hyper-V。

程序和功能->启用或关闭Windows功能->选中Hyper-V

1、安装 Toolbox

最新版 Toolbox 下载地址: https://www.docker.com/get-docker

点击 Download Desktop and Take a Tutorial,并下载 Windows 的版本,如果你还没有登录,会要求注册登录。

2、运行安装文件

双击下载的 Docker for Windows Installer 安装文件,一路 Next,点击 Finish 完成安装。

安装完成

Docker 会自动启动。通知栏上会出现个小鲸鱼的图标技术图片,这表示 Docker 正在运行。

我们可以在命令行执行 docker version 来查看版本号,docker run hello-world 来载入测试镜像测试。

如果没启动,你可以在 Windows 搜索 Docker 来启动。

镜像加速

鉴于国内网络问题,后续拉取 Docker 镜像十分缓慢,我们可以需要配置加速器来解决,我使用的是网易的镜像地址:http://hub-mirror.c.163.com

  1. Win10可以点击docker图标在Settings中的Daemon来配置。
  2. 新版的 Docker 使用 /etc/docker/daemon.json(Linux) 或者 %programdata%\\docker\\config\\daemon.json(Windows) 来配置 Daemon。

请在该配置文件中加入(没有该文件的话,请先建一个):


  "registry-mirrors": ["http://hub-mirror.c.163.com"]

安装elk

打开cmd\\powershell,输入docker命令:

docker run --ulimit nofile=65536:65536 -p 5601:5601 -p 9200:9200 -p 5044:5044 -p 5045:5045 -p 5046:5046 -d --restart=always --name elk sebp/elk

下载完会自动启动,现在需要修改logstash配置:

docker exec -it elk /bin/bash #进入容器

cd etc/logstash/conf.d/

vim 02-beats-input.conf #修改input配置
--------------------------------------------覆盖
input     
    tcp          
        port => 5044         
        codec => json_lines     
     
 
output  
    elasticsearch  
    hosts => ["localhost:9200"] 
      

退出容器,重启elk

docker restart elk

访问localhost:5601可以进入kibana界面

Zipkin

需要安装zipkin最新版本,最新版可以前往zipkin的github进行获取

Maven仓库链接:https://search.maven.org/remote_content?g=io.zipkin&a=zipkin-server&v=LATEST&c=exec

下载jar包,运行

下载jar包(版本可能会变),在jar的目录下执行命令:

java -jar zipkin-server-2.16.2-exec.jar --STORAGE_TYPE=elasticsearch --DES_HOSTS=http://ip:9200(若在本机,可以使用localhost)

--STORAGE_TYPE 指明数据服务
--DES_HOSTS 指明地址

附录

pom.xml依赖:

<dependency>
<groupId>net.logstash.logback</groupId>
<artifactId>logstash-logback-encoder</artifactId>
<version>5.2</version>
</dependency>

logback.xml配置:

<?xml version="1.0" encoding="UTF-8"?>
<!--该日志将日志级别不同的log信息保存到不同的文件中 -->
<configuration>
    <include resource="org/springframework/boot/logging/logback/defaults.xml" />
 
    <springProperty scope="context" name="springAppName"
                    source="spring.application.name" />
 
    <!-- 日志在工程中的输出位置 -->
    <property name="LOG_FILE" value="$BUILD_FOLDER:-build/$springAppName" />
 
    <!-- 控制台的日志输出样式 -->
    <property name="CONSOLE_LOG_PATTERN"
              value="%clr(%dyyyy-MM-dd HH:mm:ss.SSS)faint %clr($LOG_LEVEL_PATTERN:-%5p) %clr($PID:- )magenta %clr(---)faint %clr([%15.15t])faint %m%n$LOG_EXCEPTION_CONVERSION_WORD:-%wEx" />
 
    <!-- 控制台输出 -->
    <appender name="console" class="ch.qos.logback.core.ConsoleAppender">
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>INFO</level>
        </filter>
        <!-- 日志输出编码 -->
        <encoder>
            <pattern>$CONSOLE_LOG_PATTERN</pattern>
            <charset>utf8</charset>
        </encoder>
    </appender>
 
    <!-- 为logstash输出的JSON格式的Appender -->
    <appender name="logstash"
              class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <destination>127.0.0.1:5044</destination>
        <!-- 日志输出编码 -->
        <encoder
                class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">
            <providers>
                <timestamp>
                    <timeZone>UTC</timeZone>
                </timestamp>
                <pattern>
                    <pattern>
                        
                        "severity": "%level",
                        "service": "$springAppName:-",
                        "trace": "%XX-B3-TraceId:-",
                        "span": "%XX-B3-SpanId:-",
                        "exportable": "%XX-Span-Export:-",
                        "pid": "$PID:-",
                        "thread": "%thread",
                        "class": "%logger40",
                        "rest": "%message"
                        
                    </pattern>
                </pattern>
            </providers>
        </encoder>
    </appender>
 
    <!-- 日志输出级别 -->
    <root level="INFO">
        <appender-ref ref="console" />
        <appender-ref ref="logstash" />
    </root>
</configuration>

来自blog.koreyoshi.work

以上是关于zipkin+elk微服务日志收集分析系统的主要内容,如果未能解决你的问题,请参考以下文章

ELK日志收集分析系统配置

ELK日志分析收集

如何在spring boot中集成elk日志分析

ELK企业级日志分析系统

Linux ELK日志分析系统 | logstash日志收集 | elasticsearch 搜索引擎 | kibana 可视化平台 | 架构搭建 | 超详细

ELK 构建 MySQL 慢日志收集平台