elasticsearch kibana logstash(ELK)的安装集成应用

Posted 2021-01-09 xiaoyao-001

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了elasticsearch kibana logstash(ELK)的安装集成应用相关的知识，希望对你有一定的参考价值。

官网关于kibana的学习指导网址是：https://www.elastic.co/guide/en/kibana/current/index.html

　　Kibana是一个开源的分析和可视化平台，设计用于Elasticsearch。使用Kibana搜索、查看和与存储在Elasticsearch索引中的数据交互。您可以轻松地执行高级数据分析并在各种图表、表和映射中可视化数据。

　　Kibana使理解大量数据变得容易。它简单的、基于浏览器的界面使您能够快速创建和共享动态仪表板，实时显示对Elasticsearch查询的更改。

kibana的安装需要依赖elasticsearch,所以需要先安装它，

技术分享图片

rpm -ivh elasticsearch-6.4.1.rpm

然后查看状态及安装情况

技术分享图片

修改配置文件

技术分享图片

在在 Linux 环境中，elasticsearch 不允许以 root 权限来运行！所以需要创建一个非root用户，以非root用户来起es

技术分享图片

rpm安装包位于、usr/share/elasticsearch/下，应采用下列授权

技术分享图片

刚开始访问还是不行，然后一顿乱捣鼓，感觉也没有增加什么，最后突然刷新一下，好了，先用着，后面再整理一下

技术分享图片

然后在test用户上查看一下运行状态

技术分享图片

然后在通过test用户起来停止服务测试外网连接，都有爆红，但是都正常了

技术分享图片

然后停掉test用户的服务，切回到root下开启服务，再次尝试外网连接，多次刷新后，也是OK的，说明这一版本不需要通过用户启动服务也可以，只是连接虚拟机的时候网络较差，所以，多刷新几次。

技术分享图片

外网访问：

技术分享图片

结论：这一版本不需要通过用户启动服务也可以，只是连接虚拟机的时候网络较差，所以，多刷新几次。

kibana的安装（安装需要Elasticsearch的支持，所以要先安装Elasticsearch）

　　我们直接根据官网来安装，采用rpm的方式，简单直接，https://www.elastic.co/guide/en/kibana/current/rpm.html

技术分享图片

下载后，安装，启动，停止等

技术分享图片

启动，直接输入网址192.168.135.129：5601不能访问，关闭防火墙也不行，需要设置/etc/kibana/kibana.yml。如下放开一些配置，修改一些配置

技术分享图片

然后登陆外网，多刷新几次，本博主网络比较慢，输入网址http://192.168.135.129:5601

技术分享图片

OK！

最后安装logstash

技术分享图片

创建配置文件

技术分享图片

内容格式如下主要有输入，过滤和输出三部分：

 1 input {
 2 
 3     stdin {}
 4 }
 5 
 6 filter {
 7 
 8     grok {
 9 
10         patterns_dir => ["/home/keepgostudio/download/logstash-5.2.0/patterns"]
11 
12         match => {
13 
14             "message" => ["%{PARAMS_APACHELOG}", "%{NO_PARAMS_APACHELOG}"]
15 
16         }
17 
18         remove_field => ["host", "timestamp", "httpversion", "@version"]
19 
20     }
21 
22 
23     kv {
24 
25         source => "params"
26 
27         field_split => "&?"
28 
29     }
30 
31 
32     geoip {
33 
34         source => "ip"
35 
36         fields => ["country_name", "region_name", "city_name", "latitude", "longitude"]
37 
38         target => "location"
39 }
40 
41 output {
42 
43     elasticsearch {
44 
45         hosts => ["192.168.135.129:9200"]
46       
47         index => "logstash-test-%{type}-%{host}"
48         
49     }
50 
51 
52 }