ELK日志系统部署

Posted 2020-11-17

第一章 什么是ELK

  通俗来讲，ELK是由Elasticsearch、Logstash、Kibana 三个开源软件的组成的一个组合体，这三个软件当中，每个软件用于完成不同的功能，ELK 又称为ELK stack，官方域名为stactic.co，ELK stack的主要优点有如下几个：

处理方式灵活： elasticsearch是实时全文索引，具有强大的搜索功能

配置相对简单：elasticsearch全部使用JSON 接口，logstash使用模块配置，kibana的配置文件部分更简单。

检索性能高效：基于优秀的设计，虽然每次查询都是实时，但是也可以达到百亿级数据的查询秒级响应。

集群线性扩展：elasticsearch和logstash都可以灵活线性扩展

前端操作绚丽：kibana的前端设计比较绚丽，而且操作简单

1.1 什么是Elasticsearch：

是一个高度可扩展的开源全文搜索和分析引擎，它可实现数据的实时全文搜索搜索、支持分布式可实现高可用、提供API接口，可以处理大规模日志数据，比如nginx、Tomcat、系统日志等功能。

1.2 什么是Logstash

可以通过插件实现日志收集和转发，支持日志过滤，支持普通log、自定义json格式的日志解析。

                                             

1.3 什么是kibana：

主要是通过接口调用elasticsearch的数据，并进行前端数据可视化的展现。

第二章 安装准备

2.1 安装JDK环境

yum install java-1.8.0-openjdk  java-1.8.0-openjdk-devel  -y
 [[email protected] tools]# echo "export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.51.x86_64 > export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar> export PATH=$PATH:$JAVA_HOME/bin" >> /etc/profile 
 [[email protected] ~]# source  /etc/profile
[[email protected] tools]# java -version
openjdk version "1.8.0_161"
OpenJDK Runtime Environment (build 1.8.0_161-b14)
OpenJDK 64-Bit Server VM (build 25.161-b14, mixed mode)

2.2 修改文件限制

# 修改系统文件
vim /etc/security/limits.conf
#增加的内容
* soft nofile 65536
* hard nofile 65536
* soft nproc 2048
* hard nproc 4096

2.3 调整进程数

#修改系统文件
vim /etc/security/limits.d/20-nproc.conf
#调整成以下配置
*          soft    nproc     4096
root       soft    nproc     unlimited

2.4 调整虚拟内存&最大并发连接

#修改系统文件
vim /etc/sysctl.conf
#增加的内容
vm.max_map_count=655360
fs.file-max=655360

2.5 创建普通用户

groupadd elk
useradd elk -g elsearch -p 123456
chown -R elk.elk /server/tools/elasticsearch-6.2.3

2.6 创建数据目录

mkdir -p /var/data/elasticsearch &&  chown -R elk.elk /var/data/elasticsearch
mkdir -p /var/log/elasticsearch &&   chown -R elk.elk /var/log/elasticsearch

第三章 部署ELK

Elasticsearch是一个高度可扩展的开源全文搜索和分析引擎。它允许您快速，近实时地存储，搜索和分析大量数据。它通常用作支持具有复杂搜索功能和需求的应用程序的底层引擎/技术。

3.1 安装Elasticsearch

cat >/server/tools/elasticsearch-6.2.3/config/elasticsearch.yml <<END
cluster.name: ES
node.name: ES0
path.data: /var/data/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 10.0.0.19
http.port: 9200
transport.tcp.port: 9300
discovery.zen.ping.unicast.hosts: ["10.0.0.19:9300", "10.0.0.21:9300","10.0.0.22:9300"]
discovery.zen.minimum_master_nodes: 2
END
cat >/server/tools/elasticsearch-6.2.3/config/elasticsearch.yml <<END
cluster.name: ES
node.name: ES1
path.data: /var/data/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 10.0.0.21
http.port: 9200
transport.tcp.port: 9300
discovery.zen.ping.unicast.hosts: ["10.0.0.19:9300", "10.0.0.21:9300","10.0.0.22:9300"]
discovery.zen.minimum_master_nodes: 2
END
 
cat >/server/tools/elasticsearch-6.2.3/config/elasticsearch.yml <<END
cluster.name: ES
node.name: ES2
path.data: /var/data/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 10.0.0.22
http.port: 9200
transport.tcp.port: 9300
discovery.zen.ping.unicast.hosts: ["10.0.0.19:9300", "10.0.0.21:9300","10.0.0.22:9300"]
discovery.zen.minimum_master_nodes: 2
END

启动

[email protected] elasticsearch-6.2.3]$ ./bin/elasticsearch

3.2 安装logstash

[[email protected] ~]# mkdir -p /server/tools
[[email protected] ~]# cd /server/tools/
[[email protected] tools]# tar xf  kibana-6.2.3-linux-x86_64.tar.gz
[[email protected] tools]# tar xf  logstash-6.2.3.tar.gz
数据&日志目录
#创建Logstash数据目录
#创建Logstash日志目录
mkdir -p /var/data/logstash &&  chown -R elk.elk /var/data/logstash
mkdir -p /var/logs/logstash &&   chown -R elk.elk /var/logs/logstash
配置数据&日志目录
#打开目录 cd /server/tools/logstash-6.2.3/
#修改配置
vim config/logstash.yml
#增加以下内容
path.data: /var/data/logstash
path.logs: /var/logs/logstash
配置Redis&Elasticsearch
[[email protected] config]# cat system.conf
input {
    file {
        path => "/var/log/*"
        type => "system"
        start_position => "beginning"
    }
}
output {
    elasticsearch {
        hosts => ["10.0.0.21:9200","10.0.0.19:9200","10.0.0.22:9200"]
        index => "system-%{+YYYY.MM.dd}"
    }
}
[[email protected] config]#
注：该配置就是从redis中读取数据，然后写入指定的elasticsearch

启动

切换普通用户
[[email protected] config]# su - elk
#进入Logstash根目录
[[email protected] ~]$ cd /server/tools/logstash-6.2.3/
#启动
/bin/logstash -f config/system.conf
启动成功后，在启动输出的最后一行会看到如下信息：
[2018-04-03T10:54:35,819][INFO ][logstash.pipeline        ] Pipeline started succesfully {:pipeline_id=>"main", :thread=>"#<Thread:0x15a6d6d9 run>"}
[2018-04-03T10:54:36,086][INFO ][logstash.agent           ] Pipelines running {:count=>1, :pipelines=>["main"]}

3.3 安装kibana

[[email protected] tools]# tar xf kibana-6.2.3-linux-x86_64
chown elk:elk /server/tools/kibana-6.2.3-linux-x86_64
#修改配置
#进入kibana根目录
cd /server/tools/kibana-6.2.3-linux-x86_64
#修改配置
vi config/kibana.yml
#修改以下内容
[[email protected] kibana-6.2.3-linux-x86_64]# egrep -v "^#|^$" config/kibana.yml
server.port: 5601
server.host: "10.0.0.24"
elasticsearch.url: "http://10.0.0.21:9200"
[[email protected] kibana-6.2.3-linux-x86_64]# 
启动
切换普通用户启动 
[[email protected] kibana-6.2.3-linux-x86_64]# su - elk
[[email protected] ~]$ cd /server/tools/kibana-6.2.3-linux-x86_64/ [[email protected] kibana-6.2.3-linux-x86_64]$ bin/kibana

浏览器访问

http://10.0.0.24:5601

第四章 Filebeat配置

系统Filebeat模块收集并分析由基于Unix / Linux的常见发行版的系统日志记录服务创建的日志。

 安装
curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.2.3-x86_64.rpm
rpm -vi filebeat-6.2.3-x86_64.rpm
安装插件
bin/elasticsearch-plugin install ingest-geoip
bin/elasticsearch-plugin install ingest-user-agent
修改/etc/filebeat/filebeat.yml以设置连接信息
output.elasticsearch:
  hosts: ["<es_url>"]
  username: "elastic"
  password: "<password>"
setup.kibana:
  host: "<kibana_url>"
启用并配置系统模块
filebeat modules enable system
修改/etc/filebeat/modules.d/system.yml文件中的设置。
启动Filebeat
filebeat setup
systemctl restart filebeat.service

 配置nginx和mysql日志查询
#vim /etc/filebeat/modules.d/mysql.yml
- module: mysql
  # Error logs
  error:
    enabled: true
 
    # Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    var.paths: ["/data/mysql/czypweb.err*"]
 
  # Slow logs
  slowlog:
    enabled: true
 
    # Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
var.paths: ["/data/mysql/mysql-slow.log*"]
#vim /etc/filebeat/modules.d/nginx.yml
 
- module: nginx
  # Access logs
  access:
    enabled: true
 
    # Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    var.paths: ["/usr/local/openresty/nginx/logs/access.log*"]
 
  # Error logs
  error:
    enabled: true
 
    # Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    var.paths: ["/usr/local/openresty/nginx/logs/error.log*"]
修改filebeat配置文件开启模块功能

做完以上子啊浏览器面板查看

第5章 System metrics

系统Metricbeat模块从主机收集CPU，内存，网络和磁盘统计信息。它收集系统范围的统计信息以及每个进程和每个文件系统的统计信息。

下载
curl -L -O https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-6.2.3-x86_64.rpm
sudo rpm -vi metricbeat-6.2.3-x86_64.rpm
 配置
/etc/metricbeat/metricbeat.yml
metricbeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: true
  reload.period: 10s
output.elasticsearch:
  hosts: ["<es_url>"]
  username: "elastic"
  password: "<password>"
setup.kibana:
  host: "<kibana_url>"
 
 启用并配置系统模块
metricbeat modules enable system
1 启动Metricbeat
metricbeat setup
service metricbeat start systemctl enable metricbeat.service开机自启