ELK 部署步骤 最后 Filebeat+ELK

Posted 2021-08-27 贪吃小松鼠

ELK结构

ELK由ElasticSearch、Logstash、Kiabana组成。

ElasticSearch

Logstash

Kiabana

补充

Elasticsearch 集群部署

一、环境准备（在Node1、Node2节点上操作，只展示node1）

更改node节点主机名

配置域名解析

安装java

二、部署 Elasticsearch 软件

安装软件包

加载服务系统

修改主配置文件

创建数据存放路径并授权

启动es

查看节点信息

http://192.168.235.101:9200 、 http://192.168.235.102:9200 查看节点 Node1、Node2 的信息


http://192.168.235.101:9200/_cluster/health?pretty查看群集的健康情况

http://192.168.235.101:9200/_cluster/state?pretty 检查群集状态信息

三、安装 Elasticsearch-head 插件

编译安装 node

安装 phantomjs并复制执行文件

安装 Elasticsearch-head 数据可视化工具

修改 Elasticsearch 主配置文件

启动 elasticsearch-head 服务

查看Elasticsearch信息


插入索引查看

刷新页面

Logstash 部署

在 Apache 节点上操作

一、更改主机名

二、安装Apahce服务（httpd）并启动

yum -y install httpd
systemctl start httpd

三、安装Java环境

四、安装logstash并创建软链接

五、测试 Logstash

使用 rubydebug 输出详细格式显示，codec 为一种编解码器

使用 Logstash 将信息写入 Elasticsearch 中

结果不在标准输出显示，而是发送至 Elasticsearch 中，可浏览器访问 http://192.168.235.101:9100/ 查看索引信息和数据浏览

六、定义 logstash配置文件

Logstash 配置文件基本由三部分组成：input、output 以及 filter（可选，根据需要选择使用）
我们用系统日志文件为例



重启服务后浏览器访问 http://192.168.235.101:9100 查看索引信息

Kiabana 部署

在 Node1 节点上操作

一、安装 Kiabana

二、配置 Kibana 的主配置文件

三、启动 Kibana 服务

四、验证Kibana

浏览器访问 http://192.168.235.101:5601

五、添加数据

将 Apache 服务器的日志（访问的、错误的）添加到 Elasticsearch 并通过 Kibana 显示


启动 logstash

浏览器访问 http://192.168.235.101:9100 查看索引是否创建

浏览器访问 http://192.168.235.101:5601 登录 Kibana





选择“Discover”选项卡，在中间下拉列表中选择刚添加的 apache_access-* 、apache_error-* 索引， 可以查看相应的图表及日志信息

Filebeat+ELK 部署

一、安装 Filebeat（在 Node1 节点上操作）

二、设置 Kibana 的主配置文件

三、启动filebeat

四、新建logstash配置文件

在 Logstash 组件所在节点上新建一个 Logstash 配置文件


启动 logstash

五、访问

浏览器访问 http://192.168.235.101:5601 登录 Kibana，单击“Create Index Pattern”按钮添加索引“filebeat-*”，单击 “create” 按钮创建，单击 “Discover” 按钮可查看图表信息及日志信息（同上）