关于使用Spring Boot Microservices设置ELK堆栈

Posted 2021-03-12

在优锐课的java架构学习中，了解有关ELK监视和日志记录堆栈以及如何在一个位置整理多个微服务的日志的信息

IT的重要阶段之一是后期制作阶段，而主要挑战之一就是确定后期制作中的问题。 当多个应用程序在不同系统中吐出不同的日志时，将它们放在一个地方进行整理对于IT团队进行管理很重要。 在这里，ELK堆栈可以解救。 在本教程中，我将介绍什么是ELK以及如何聚合来自不同微服务的日志并将其推送到一个公共位置。

什么是ELK？

ELK是Elasticsearch，Logstash和Kibana的首字母缩写。 它是Elastic拥有的开源软件。

Elasticsearch是基于Apache Lucene的搜索引擎，几乎可以实时搜索，存储和分析大量数据。 Elasticsearch可以在内部安装，也可以用作SaaS应用程序。
Logstash是日志聚合器，它具有一个管道来接收输入，过滤数据并发送输出。 Logstash可以使用不同的输入插件从各种来源获取日志，并以所需的方式发送输出。
Kibana是用于可视化Elasticsearch数据的软件。 它是Elasticsearch的插件。 Elasticsearch和Kibana可以部署为云服务，并寄托在AWS或GCP上。 Kibana也可以安装在内部基础结构中。 在本教程中，我们将使用ELK的Docker映像并将其在EC2中进行设置。

设计架构

在以上设计中，不同的微服务将吐出日志。 我们将拥有Syslog驱动程序，以将从不同的微服务生成的日志推送到Logstash，后者将过滤日志并将其推送到Elasticsearch。 所有汇总的日志将在Kibana中显示。

在EC2上设置ELK

我们将使用官方Docker镜像在EC2 Ubuntu计算机上设置ELK。 登录到EC2服务器，并在路径/ home / ubuntu /中创建一个名为“ elk”的目录。
请按照此处提到的步骤在EC2上安装Docker。

导航到elk目录并创建一个名为docker-compose.yml的文件

version: ‘2‘
services:
    elasticsearch:
        image: docker.elastic.co/elasticsearch/elasticsearch:6.3.2
        ports:
            - ‘9200:9200‘
            - ‘9300:9300‘
    kibana:
        image: docker.elastic.co/kibana/kibana:6.3.2
        ports:
            - ‘5601:5601‘
        depends_on:
            -  elasticsearch
    logstash:
        image: docker.elastic.co/logstash/logstash:6.3.2
        ports:
            - ‘25826:25826‘
        volumes:
            - $PWD/elk-config:/elk-config
        command: logstash -f /elk-config/logstash.config
        depends_on:
            -  elasticsearch
            -

Elasticsearch默认使用mmapfs目录存储其索引。 默认的操作系统对mmap计数的限制可能太低，这可能会导致内存不足异常。
在Linux上，你可以通过以root用户身份运行以下命令来分配最大内存来增加限制：
sudo sysctl -w vm.max_map_count=262144
运行docker-compose up来启动ELK的所有容器。

通过单击端口5601验证Kibana是否已启动。你应该看到以下页面：

在Kibana中设置索引模式。

运行telnet [logstash的IP] [logstash的端口]并输入任何文本（例如telnet 52.207.254.8 25826）
一旦你可以在Kibana中看到文本，则意味着已为ELK设置了连接性。
接下来，我们将看到如何将日志从微服务推送到ELK。

设置系统日志驱动程序

为了从EC2中寄托的微服务发送日志，我们可以使用syslog驱动程序将日志推送到Logstash。 我正在使用该项目作为日志。 我们将在EC2中运行此项目。
我们需要对Ubuntu计算机中存在的rsyslog.conf进行更改。
vi /etc/rsyslog.conf
取消注释以下行：

现在，在spring boot项目的logback.xml中添加以下行：

<appender name=”SYSLOG” class=”ch.qos.logback.classic.net.SyslogAppender”>
    <syslogHost>{logstash host }</syslogHost>
    <port>{ logstash port 25826 }</port>
    <facility>LOCAL1</facility>
    <suffixPattern>[%thread] %logger %msg</suffixPattern>
</appender>

上面的设置会将日志推送到Logstash。
如果项目是使用Docker构建的，那么我们需要使用docker run命令添加驱动程序：
–log-driver syslog –log-opt syslog-address = tcp：// {logstashhost}：{logstashport}
在启动服务器并点击API时，你可以在Kibana中看到日志。

好了，祝一切顺利！

喜欢这篇文章的可以点个赞，欢迎大家留言评论，记得关注我，每天持续更新技术干货、职场趣事、海量面试资料等等
?> 如果你对java技术很感兴趣也可以交流学习，共同学习进步。?
不要再用"没有时间“来掩饰自己思想上的懒惰！趁年轻，使劲拼，给未来的自己一个交代

文章写道这里，欢迎完善交流。最后奉上近期整理出来的一套完整的java架构思维导图，分享给大家对照知识点参考学习。有更多JVM、mysql、Tomcat、Spring Boot、Spring Cloud、Zookeeper、Kafka、RabbitMQ、RockerMQ、Redis、ELK、Git等Java干货