简单安装ELK分析日志及使用心得

Posted 2020-11-17

ELK是由Elasticsearch、Logstash、Kibana三个组件组成的。
Elasticsearch：是ELK的核心插件，是一个基于Lucene的搜索服务器，它提供一个分布式多用户能力的全文搜索引擎，能够达到实时搜索，稳定，可靠，快速，安装方便。Elasticsearch服务会开启两个端口，9200和9300，其中9200是对外服务的，9300是对集群内交互使用的。
Logstash：日志收集工具，可以从本地磁盘，网络服务（自己监听端口，接受用户日志），消息队列中收集各种各样的日志。然后对日志进行分析整理，输出到指定的输出，（如elasticsearch、redis、终端等。）监听9600端口。
Kibana：是一个可视化日志web展示工具，对Elasticsearch中存储的日志进行展示。监听5601端口。

在这里我直接三个组件装在同一台机器上面，也可以把他们分开。
192.168.40.15 elasticsearch logstash kibana

由于ES与logstash都需要JDK环境，所以要先安装JDK环境，最好是安装1.8或者以上的。

[[email protected] ~]# java -version
java version "1.8.0_144"
Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)

安装ES：

[[email protected] src]# tar -xf elasticsearch-5.6.3.tar.gz
[[email protected] src]# mv elasticsearch-5.6.3/  /usr/local/elasticsearch
[[email protected] src]# cd /usr/local/elasticsearch/
##修改配置文件：
[[email protected] elasticsearch]# vim config/elasticsearch.yml
node.name: elkserver
network.host: 192.168.40.15
discovery.zen.minimum_master_nodes: 1
##在配置文件末尾添加：
http.cors.enabled: true
http.cors.allow-origin: "*"  ##这两句是为了后面安装head插件使用的。

安装head插件
head插件能够生成集群的统计数据，并提供浏览器查询，同时还能对elasticsearch索引进行结构化查询。

cd /usr/local/elasticsearch
mkdir head
cd head
git clone https://github.com/mobz/elasticsearch-head.git
cd elasticsearch-head/
yum install -y npm*    ##安装npm命令
npm install    ##运行缓慢
npm install -g grunt-cli
##修改配置文件
[[email protected] elasticsearch-head]# vim Gruntfile.js 
       connect: {
                        server: {
                                options: {
                                        port: 9100,
                                        hostname: ‘0.0.0.0‘，   ##添加这行，冒号后面有空格
                                        base: ‘.‘,
                                        keepalive: true
                                }
                        }
                }
##修改elasticsearch的JVM运行内存，这个可以根据需要更改，但是-Xms和-Xmx的值必须一样，不然启动报错

[[email protected] elasticsearch-head]# vim /usr/local/elasticsearch/config/jvm.options
-Xms1g
-Xmx1g
##修改Linux最大打开文件数
vim /etc/security/limits.conf
* soft nofile 655350   ##在末尾添加
* hard nofile 655350
##这一步需要重启linux使配置生效
reboot
[[email protected] ~]# ulimit -n
655350
##修改sysctl.conf文件
[[email protected] ~]# vim /etc/sysctl.conf 
vm.max_map_count=655350
[[email protected] ~]# sysctl -p

将ES的head插件启动，然后创建普通用户，启动ES，ES只能使用普通用户启动

useradd elastic
passwd elastic

##启动head插件
[[email protected] elasticsearch-head]# pwd
/usr/local/elasticsearch/head/elasticsearch-head
[[email protected] elasticsearch-head]# grunt server &
##会开启9100端口。
##切换到普通用户启动elasticsearch
[[email protected] elasticsearch-head]# chown -R elastic:elastic /usr/local/elasticsearch/
[[email protected] elasticsearch-head]# su - elastic
Last login: Sun Jun 10 13:15:09 CST 2018 on pts/0
[[email protected] ~]$ nohup /usr/local/elasticsearch/bin/elasticsearch &
[1] 2339
[[email protected] ~]$ nohup: ignoring input and appending output to ‘nohup.out’
##启动成功是会开启9200，9300两个端口的。
##在浏览器打开可以利用head插件查看elasticsearch的集群及索引情况
![](http://i2.51cto.com/images/blog/201806/10/2ea5998c2fd589e6a539a5afe1b6f598.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=)

安装Logstash
Logstash也是需要jdk环境，所以如果是在不同机器上部署的，需要安装jdk环境，版本可以选择和ES一样的。

[[email protected] src]# tar -xf logstash-5.6.3.tar.gz 
[[email protected] src]# mv logstash-5.6.3 /usr/local/logstash
##创建日志处理文件的存放目录
mkdir /logstash
cd /logstash
##接下来是重点，也是ELK的难点吧，就是将日志进行分析，使用正则匹配过滤日志中想要的内容。
120.79.189.51 - - [10/Jun/2018:12:58:12 +0800] "POST /wp-cron.php?doing_wp_cron=1528606692.3628709316253662109375 HTTP/1.1" 499 0 "-" "WordPress/4.8; http://120.79.189.51"

这是日志中的一行，logstash的正则匹配默认是匹配一行，以回车符作为分隔符。
当然如果日志是json格式的那么就没有需要处理直接输出即可。
[[email protected] logstash]# cat input_flter_output.conf 
input {
    file {
        path => "/logstash/test.log"
        type => "test.log"
        start_position => "beginning"
    }
}
filter {
    grok {
        match => {
            "message" => "(?<ip_addr>d+?.d+?.d+?.d+?)s-s-s[(?<log_date>d+?/w+?/d+?):(?<log_time>d+?:d+?:d+?)s+"
        }

    }

}
output {

    stdout {codec => rubydebug}
}
这是logstash的日志分析文件，总共分为三个大部分，input、flter、output，其中input是输入日志，这里选择的是file文件，path是文件的路径，type是文件的类型，这个可以自定义，主要用来区分每个日志，start_position是设定为beginning是指从文件的开头开始读取。
flter是处理日志的部分，使用grok这个强大的组件进行信息过滤，对于日志的正则匹配最总会以json的格式输出，所以正则匹配的格式是(?<字段名>正则表达式过滤将要匹配的内容)在每个括号内创建过滤的内容，将不需要的内容放在括号外，可以一直做匹配知道日志结束，这里我只是简单匹配日志前面的ip地址和日期时间。
针对正则匹配字段详细说明：
正则匹配字段通过“(?<字段名>正则表达式)”来定义，我们看到“(?<ip_addr>d+?.d+?.d+?.d+?”匹配了日志中的IP地址，然后将不需要的内容放在括号外面匹配，接着是日期和时间，使用同样的方式，然后不需要的内容放在外面因为这里我只匹配了前面的一点内容，如果有需要提取，可以一直匹配，知道这一行结束，logstash默认只会匹配日志以行作为分割，下一行又是新的一次匹配了。

output是处理输出部分，这里我只是简单输出到终端，先实验正则匹配没问题后，将输出指向elasticsearch。
##这里先看看终端的输出内容，也就是经过logstash过滤后的日志
![](http://i2.51cto.com/images/blog/201806/10/d911c12532dffb112e5090eaafa08aa9.jpg?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=)
接下来将日志输出到elasticsearch，修改output里面的内容即可。
output {
    elasticsearch {              ##指定输出到ES
        action => "index"      ##建立索引
        hosts => "192.168.40.15:9200"       ##ES地址端口
        index => "test_log-%{+yyyy.MM.dd}"    ##索引的名称
    }
    stdout {codec => rubydebug}
}
然后再执行一次
/usr/local/logstash/bin/logstash -f input_flter_output.conf

安装kibana

[[email protected] src]# rpm -ivh kibana-5.6.3-x86_64.rpm

vim /etc/kibana/kibana.yml
server.host: "192.168.40.15"   ##指定本地server地址
elasticsearch.url: "http://192.168.40.15:9200"     ##指定elasticsearch对外服务的url

接下来就是直接在浏览器打开kibana的web界面，然后建立索引库，索引是只想elastic的，在logstash日志分析文件里面有建立了一个索引，索引的名称是test_log-${日期}这样的形式。
访问kibana：http://192.168.40.15:5601

输入相应的索引，然后建立索引库，然后就可以制作各种各样的图形分析日志，kibana提供了很多中图形，根据需要选择分析。


记得ELK是实时的日志分析，所以kibana的web界面右上角的时间如果设置不好就看不到导入的日志了。