CentOS7 Docker 安装ELK

Posted justry_deng

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了CentOS7 Docker 安装ELK相关的知识，希望对你有一定的参考价值。

CentOS7 Docker 安装ELK

准备工作

安装docker

第一步：查看已安装的docker

docker -v

注：若已安装的docker满足需求，则无需重新安装docker

第二步：卸载旧版本

 sudo yum remove docker \\
                  docker-client \\
                  docker-client-latest \\
                  docker-common \\
                  docker-latest \\
                  docker-latest-logrotate \\
                  docker-logrotate \\
                  docker-engine

第三步：安装docker依赖包

提示：中间需要确认几次，输入y回车即可

#安装所需资源包
sudo yum install -y yum-utils
#设置docker下载地址
sudo yum-config-manager \\
    --add-repo \\
    https://download.docker.com/linux/centos/docker-ce.repo
    
#安装docker
sudo yum install docker-ce docker-ce-cli containerd.io

第四步：查看安装docker列表

yum list docker-ce --showduplicates | sort -r

第五步：启动docker

sudo systemctl start docker

第六步：查看docker版本

#查看docker的版本
docker -v

# 查看本地主机上已有镜像的基本信息。
docker images

安装docker-compose

第一步：安装docker-compose到/usr/local/bin/目录下

curl -L https://get.daocloud.io/docker/compose/releases/download/1.25.5/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose
ll /usr/local/bin

第二步：添加docker-compose可执行权限

chmod +x /usr/local/bin/docker-compose
ll /usr/local/bin

第三步：查看docker-compose版本

docker-compose -v

安装elk

第一步：创建相关挂载目录

# 创建目录/usr/local/elk/es/data和/usr/local/elk/es/plugins和/usr/local/elk/es/config和/usr/local/elk/logstash和/usr/local/elk/kibana
mkdir -p /usr/local/elk/es/data,es/plugins,es/config,logstash,kibana/config,kibana/data
ll  /usr/local/elk
ll /usr/local/elk/es
ll /usr/local/elk/kibana
# 授权相关文件夹权限
chmod -R 777 /usr/local/elk/es
chmod -R 777 /usr/local/elk/logstash
chmod -R 777 /usr/local/elk/kibana

第二步：创建配置文件

第一小步：创建docker-compose.yml

vim /usr/local/elk/docker-compose.yml

内容如下

version: '3' #指定compose文件的版本号，目前有1,2,3这三个版本

services:
  elasticsearch: # 指定服务名
    image: elasticsearch:7.17.5  #镜像
    container_name: elasticsearch-7.17.5  #定义容器名称
    restart: always  #开机启动，失败也会一直重启
    environment:
      - "cluster.name=elasticsearch" #设置集群名称为elasticsearch
      - "discovery.type=single-node" #以单一节点模式启动
      - "ES_JAVA_OPTS=-Xms1024m -Xmx1024m" #设置使用jvm内存大小
    volumes:
      - /usr/local/elk/es/plugins:/usr/share/elasticsearch/plugins #插件文件挂载(宿主机目录：容器目录)
      - /usr/local/elk/es/data:/usr/share/elasticsearch/data #数据文件挂载(宿主机目录：容器目录)
      - /usr/local/elk/es/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml # 配置文件挂载(宿主机文件：容器文件)
    ports:
      - "9200:9200" #  宿主机端口:容器端口， 9200是ES节点与外部通讯使用的端口。它是http协议的RESTful接口（各种CRUD操作都是走的该端口,如查询：http://localhost:9200/user/_search）
      - "9300:9300" # 宿主机端口:容器端口， 9300是ES节点之间通讯使用的端口。它是tcp通讯端口，集群间和TCPclient都走的它。（java程序中使用ES时，在配置文件中要配置此端口）

  kibana: # 指定服务名
    image: kibana:7.17.5
    container_name: kibana-7.17.5
    restart: always
    volumes:
      - /usr/local/elk/kibana/config/kibana.yml:/usr/share/kibana/config/kibana.yml #挂载logstash的配置文件 宿主机文件:容器文件
      - /usr/local/elk/kibana/data:/usr/share/kibana/data #数据文件挂载(宿主机目录：容器目录)
    depends_on:
      - elasticsearch #kibana在elasticsearch启动之后再启动
    environment:
      - ELASTICSEARCH_URL=http://172.31.113.186:9200 #设置访问elasticsearch的地址，不能写localhost或者127.0.0.1，可以写内网（或公网）地址
    ports:
      - "5601:5601" # 宿主机端口:容器端口

  logstash: # 指定服务名
    image: logstash:7.17.5
    container_name: logstash-7.17.5
    restart: always
    volumes:
      - /usr/local/elk/logstash/logstash.yml:/usr/share/logstash/config/logstash.yml #挂载logstash的配置文件 宿主机文件:容器文件
      - /usr/local/elk/logstash/logstash.conf:/usr/share/logstash/pipeline/logstash.conf #挂载logstash的数据传输配置文件 宿主机文件:容器文件
    depends_on:
      - elasticsearch #kibana在elasticsearch启动之后再启动
    ports:
      - "5044:5044" #宿主机端口:容器端口, logstash中输入源涉及到的所有端口号都需要映射，5044为默认端口号

第二小步：创建elasticsearch配置文件

vim /usr/local/elk/es/config/elasticsearch.yml

内容如下

network.host: 0.0.0.0  #使用的网络
http.cors.enabled: true #跨域配置
http.cors.allow-origin: "*"
xpack.security.enabled: true  #开启密码配置
http.cors.allow-headers: Authorization
xpack.security.transport.ssl.enabled: true

第三小步：创建kibana配置文件

# 创建配置文件logstash配置文件
vim /usr/local/elk/kibana/config/kibana.yml

内容如下

server.host: "0.0.0.0"
server.shutdownTimeout: "5s"
elasticsearch.hosts: ["http://172.31.113.186:9200"] #es地址；不能写localhost或者127.0.0.1，可以写内网（或公网）地址
i18n.locale: "zh-CN"  #汉化
elasticsearch.username: elastic # 设置账号密码
elasticsearch.password: elastic123
xpack.encryptedSavedObjects.encryptionKey: "fhjskloppd678ehkdfdlliverpoolfcr" # 任意不少于32位的字符即可， 官方解释https://www.elastic.co/guide/en/kibana/7.16/alert-action-settings-kb.html#general-alert-action-settings

第四小步：创建logstash配置文件

  • logstash.yml，logstash配置

    # 创建配置文件logstash.yml
vim /usr/local/elk/logstash/logstash.yml

    内容如下

    http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.hosts: [ "http://172.31.113.186:9200" ]  # es地址，不能写localhost或者127.0.0.1，可以写内网（或公网）地址
xpack.monitoring.elasticsearch.username: "elastic"   # es账号
xpack.monitoring.elasticsearch.password: "elastic123" # es密码

  • logstash.config，数据传输配置

    # 创建配置文件logstash配置文件
vim /usr/local/elk/logstash/logstash.conf

    内容如下

    更多可参考：https://blog.csdn.net/qq330983778/article/details/105644835/

    # 数据输入配置
input 
    # 从TCP套接字读取数据
    tcp 
         mode => "server"
         host => "0.0.0.0"
         port => 5044 # 每个输入源都可以使用不同的端口号
         codec => json_lines
    

    # 从Elastic Beats框架（如filebeat）接收数据
    #beats 
    #    port => 5044
    #


# 数据处理配置


# 数据输出配置
output 
  elasticsearch 
    hosts => ["http://172.31.113.186:9200"] # es的地址和端口，不能写localhost或者127.0.0.1，可以写内网（或公网）地址
    user => "elastic" # es的账号密码
    password => "elastic123" # es的账号密码
    index => "all-log-%+YYYY.MM.dd" # 索引（自定义即可，因为想要按天分索引，所以后面使用变量%+YYYY.MM.dd）

第三步：启动ELK

提示：docker-compose相关指令详见[01]docker-compose相关指令.md

# 报错的话，尝试切换至docker-compose.yml所在目录执行此指令试试 cd /usr/local/elk
# 启动elk
docker-compose up -d
# docker-compose stop # 停止所有
# docker-compose rm # 移除所有


# 报错的话，尝试切换至docker-compose.yml所在目录执行此指令试试 cd /usr/local/elk
docker-compose ps

第四步：设置es相关密码并重启

提示：启动ELK需要一点时间，等一会儿（或通过docker-compose logs xxx观察到elasticsearch服务启动完成后）再进行此步骤

进入es容器

# docker exec -it es容器名 /bin/bash
# 注：docker ps可查看容器名或容器id
docker exec -it elasticsearch-7.17.5 /bin/bash

执行设置密码的脚本

./bin/elasticsearch-setup-passwords interactive

然后依次给各个账号设置密码

elastic、apm_system、kibana_system、logstash_system、beats_system、remote_monitoring_user
注：本人设置的密码较简单，直接以账号名123作为的密码

退出容器Ctrl+P+Q，然后重启es容器即可

# docker-compose restart 服务名
# 注：docker-compose.yaml中可查看服务名
docker-compose restart elasticsearch

第五步（报错时，可观察）：检查日志是否正常

# 分别检查这三个的日志是否正常
docker-compose logs -f elasticsearch
docker-compose logs -f kibana
docker-compose logs -f logstash

第六步：开放端口

提示：如果用的阿里云，那么还需要在阿里云控制台配置开启端口

# es端口
firewall-cmd --zone=public --add-port=9200/tcp --permanent
firewall-cmd --zone=public --add-port=9300/tcp --permanent
# kibina端口
firewall-cmd --zone=public --add-port=5601/tcp --permanent
# logstash端口(只设置了一个端口为5044的输入源，这里只需要开放一个端口即可)
firewall-cmd --zone=public --add-port=5044/tcp --permanent
firewall-cmd --reload

第七步：访问测试(es、kibana)

  • 访问elastic（地址http://address:9200）：

  • 访问kibana（地址http://address:5601）：

    密码也是第四步我们设置的elastic/elastic123

第八步：日志传输测试(logstash)

  • 第一步：创建一个临时的spring-boot项目

  • 第二步：引入logstash依赖支持

    <dependency>
    <groupId>net.logstash.logback</groupId>
    <artifactId>logstash-logback-encoder</artifactId>
    <version>7.2</version>
</dependency>

  • 第二步：编写日志配置文件

    <?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <springProperty name="appName" scope="context" source="spring.application.name"/>
    <springProperty name="serverPort" scope="context" source="server.port" defaultValue="0000"/>

    <property name="pattern"
              value="$appName:$serverPort %dyyyy-MM-dd HH:mm:ss.SSS %-5level [%XtraceId] %thread %logger50:%L %msg%n"/>


    <appender name="consoleAppender" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>$pattern</pattern>
            <charset class="java.nio.charset.Charset">UTF-8</charset>
        </encoder>
    </appender>


    <!--配置logstash 发送日志数据的地址 -->
    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <destination>你的elk logstash地址:5044</destination>
        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder" />
    </appender>

    <root level="INFO">
        <appender-ref ref="consoleAppender"/>
        <appender-ref ref="LOGSTASH"/>
    </root>

</configuration>

  • 第四步：启动项目，随便打点日志

    测试代码

    import com.alibaba.fastjson.JSON;
import lombok.extern.slf4j.Slf4j;
import org.springframework.boot.ApplicationArguments;
import org.springframework.boot.ApplicationRunner;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.web.bind.annotation.RestController;

import java.time.LocalDateTime;

/**
 * start class
 */
@Slf4j
@RestController
@SpringBootApplication
public class DemoApplication implements ApplicationRunner 
    
    public static void main(String[] args) 
        SpringApplication.run(DemoApplication.class, args);
    
    
    
    @Override
    public void run(ApplicationArguments args) throws Exception 
        CarInfoPO carInfo = new CarInfoPO();
        carInfo.setId(123L);
        carInfo.setStatus(0);
        carInfo.setCreatedAt(LocalDateTime.now());
        carInfo.setUpdatedAt(LocalDateTime.now());
        carInfo.setZjPlateNo("你好啊");
        carInfo.setZjRegionId("嘿嘿");
        log.info(JSON.toJSONStringWithDateFormat(carInfo, "yyyy-MM-dd HH:mm:ss"));

  • 第五步：去kibana查看日志

    提示：需要再kibana的Discover里面简单找一下，才能看到日志信息

    相关资料

  • 本文已被收录进《程序员成长笔记》 ，笔者JustryDeng

以上是关于CentOS7 Docker 安装ELK的主要内容，如果未能解决你的问题，请参考以下文章

Linux系统Centos7 基于Docker搭建ELK分布式日志系统

docker-compose安装ELK

基于docker搭建单机测试ELK

搭建基于docker的elk平台来分析java日志

在linux中快速使用docker搭建ELK日志监控分析系统

ELK日志分析平台系统CentOS7环境搭建和基本使用