centos 7.5 安装ELK elasticsearch-7.6.2单点服务器+logstash+filebeat+kibana7.6.2安装设置

Posted chenglei1208

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了centos 7.5 安装ELK elasticsearch-7.6.2单点服务器+logstash+filebeat+kibana7.6.2安装设置相关的知识,希望对你有一定的参考价值。

版本依赖查询地址
https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html
各版本软件下载地址
https://www.elastic.co/cn/downloads/past-releases
https://elasticsearch.cn/download/
本实验使用
logstash-7.4.2.tar.gz
filebeat-7.4.2-linux-x86_64.tar.gz
kibana-7.4.2-linux-x86_64.tar.gz

拓扑图

centos

一、环境准备

1、服务器准备及规划 CENTOS 7.5最小化安装

10.10.201.155 node-1 安装 elasticsearch-7.6.2 (上一篇已经安装)

10.10.201.158 安装 logstash-7.6.2

10.10.201.178 安装 filebeat-7.6.2

10.10.201.153 安装 kibana-7.6.2

2.关闭防火墙和selinux 所有服务器

1.
systemctl stop firewalld
systemctl disable firewalld
2.
vim /etc/selinux/config
更改为如下
SELINUX=disable
从启动计算机

3、服务器时间一致设置 所有服务器

1.修改时区
ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

2.刷新
hwclock -w
3.安装ntpdate并校准时间
yum -y install ntpdate ; ntpdate time.windows.com

4.安装jdk 和一些软件 所有服务器

yum -y install java-1.8.0-openjdk 
yum install -y unzip zip
yum -y install vim*
yum -y install git

5.开始安装logstash 10.10.201.181服务器

1.建立一个存放软件的目录 并把logstash-7.6.2.tar.gz 上传至此目录
mkdir -p /home/xiazai
cd /home/xiazai
2.建立logstash软件安装的目录
mkdir -p /usr/local/logstash
3.将logstash解压缩至/usr/local/logstash目录
cd /home/xiazai
tar zxvf logstash-7.4.2.tar.gz -C /usr/local/logstash/
4.进入目录
cd /usr/local/logstash/logstash-7.6.2/bin
5.测试运行
./logstash -e input stdin output stdout
等待后
显示如下 证明启动成功
Successfully started Logstash API endpoint :port=>9600
6.hello world 测试一下
输入 hello world
显示如下

"message" => "hello world",
"@timestamp" => 2022-03-30T02:54:13.340Z,
"host" => "localhost.localdomain",
"@version" => "1"
安装完成 可以正常启动
ctrl+c 退出

先杀掉刚刚启动的进程 继续后面的设置

# 查看进程号
ps -ef|grep logstash
如果有进程就杀掉 没有就不用操作
# 杀死进程
kill -9 XXXX

6.配置logstash 10.10.201.181

1.建立logstash配置文件
cd /usr/local/logstash/logstash-7.6.2/config
vim logstash.conf
如下:

# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.

input
beats
port => 5044




#output
# stdout codec => rubydebug
#



output
elasticsearch
hosts => ["10.10.201.180:9200"]
index => "%[@metadata][beat]-%[@metadata][version]-%+YYYY.MM.dd"
#user => "elastic"
#password => "changeme"



保存退出

2.启动服务
进入目录
cd /usr/local/logstash/logstash-7.6.2

启动服务
[root@localhost logstash-7.4.2]# ./bin/logstash -f ./config/logstash.conf
显示如下 成功
Successfully started Logstash API endpoint :port=>9600

启动服务并自动刷新
[root@localhost logstash-7.4.2]# ./bin/logstash -f ./config/logstash.conf --config.reload.automatic
后台启动
[root@localhost logstash-7.9.2]# nohup ./bin/logstash -f ./config/logstash.conf &

7.开始安装filebeat (两种方式 任选其一 推荐第二种 rpm)10.10.201.152服务器

第一种方式 开机启动总是有问题 
1.把filebeat-7.6.2-linux-x86_64.tar.gz 上传至下面目录
cd /home/xiazai/

2.建立filebeat安装的目录
mkdir -p /usr/local/filebeat

3.解压缩至文件/usr/local/filebeat
tar zxvf filebeat-7.6.2-linux-x86_64.tar.gz -C /usr/local/filebeat/
4.启动服务 后台启动
[root@localhost filebeat-7.6.2-linux-x86_64]# nohup ./filebeat -e -c filebeat.yml >/dev/null 2>&1 &
5.查看进程方法
[root@localhost filebeat-7.6.2-linux-x86_64]# ps -ef | grep filebeat
root 9320 9267 0 09:04 pts/0 00:00:00 ./filebeat -e -c filebeat.yml
root 9333 9267 0 09:05 pts/0 00:00:00 grep --color=auto filebeat

第二种方式 设置开机启动没问题
安装filebeat 下面是rpm安装filebeat
1.上传软件 至服务器/home/xiazai 下载安装包 filebeat-7.6.2-x86_64.rpm
cd /home/xiazai
2.安装
rpm -ivh filebeat-7.6.2-x86_64.rpm
3.配置主配置文件
vim /etc/filebeat/filebeat.yml

说明:rpm安装的路径为以下和tar 安装路径不一样
启动文件
/usr/share/filebeat/bin/filebeat
主配置文件目录
/etc/filebeat/filebeat.yml

3.启动服务
systemctl start filebeat
4.重启动服务
systemctl restart filebeat
5.查看服务
systemctl status filebeat
6.开机自启动
systemctl enable filebeat
7. 查看所有服务状态
systemctl list-unit-files --type=service

8.配置filebeat 10.10.201.152服务器

1.进入安装的目录
cd /usr/local/filebeat

2.编辑主配置文件
vim /usr/local/filebeat/filebeat-7.6.2-linux-x86_64/filebeat.yml

注意:如果是 rpm安装 配置主配置文件 路径为
vim /etc/filebeat/filebeat.yml

配置如下:
数据输入的设置
1.改为true
enabled: true
2.写你的log目录
paths:
- /usr/local/nginx/logs/*.log

数据输出设置
1.注释掉下面的 我们不使用输出到elasticsearch 我们要输出到刚刚安装的logstash上
#output.elasticsearch:
# Array of hosts to connect to.
#hosts: ["localhost:9200"]
2,取消注释并更改为自己的logstash服务器IP
output.logstash:
# The Logstash hosts
hosts: ["10.10.201.181:5044"]

保存 退出

一、 在前台启动
进入目录
cd /usr/local/filebeat/filebeat-7.6.2-linux-x86_64

启动服务
./filebeat -e -c filebeat.yml

二、在后端启动
进入目录
cd /usr/local/filebeat/filebeat-7.6.2-linux-x86_64
后台启动
nohup ./filebeat -e -c filebeat.yml &

注意:rpm安装的话启动服务命令如下
3.启动服务
systemctl start filebeat
4.重启动服务
systemctl restart filebeat
5.查看服务
systemctl status filebeat
6.开机自启动
systemctl enable filebeat
7. 查看所有服务状态
systemctl list-unit-files --type=service

9.安装kibana 10.10.201.182服务器

cd /home/xiazai
上传文件至/home/xiazai目录
建立安装目录
mkdir -p /usr/local/kibana

1.解压缩至/usr/local/kibana目录
tar -xzf kibana-7.6.2-linux-x86_64.tar.gz

2.拷贝到/usr/local/kibana/目录

cp -r kibana-7.6.2-linux-x86_64 /usr/local/kibana/

3.进入配置文件目录

cd /usr/local/kibana/kibana-7.6.2-linux-x86_64/config

4.配置主配置文件

vim /usr/local/kibana/kibana-7.6.2-linux-x86_64/config/kibana.yml

配置如下 在最后一行添加如下

server.host: 0.0.0.0

elasticsearch.hosts: ["http://10.10.201.180:9200"]

i18n.locale: "zh-CN"

5.启动服务
进入目录
cd /usr/local/kibana/kibana-7.6.2-linux-x86_64/bin
启动服务
./kibana --allow-root
完成

测试

​http://10.10.201.182:5601​

点击试用我的样例数据

进入后 点击Discover


centos

进入后 点击左上角圆圈 Discover

看到如下 成功对接

索引模式里输入下面显示的

filebeat* 

就可以下一步的去设置你的数据了


centos


centos

以上是关于centos 7.5 安装ELK elasticsearch-7.6.2单点服务器+logstash+filebeat+kibana7.6.2安装设置的主要内容,如果未能解决你的问题,请参考以下文章

elk之elastic安装

Centos7环境ELK搭建

ELK Centos Redhat yum 安装

ELK 上手2 在CentOS下安装logstash和Kibana

细做ELK

Centos6 下安装 ELK6.4.1