filebeat + kafka +ELK集群实验
Posted 贪吃小松鼠
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了filebeat + kafka +ELK集群实验相关的知识,希望对你有一定的参考价值。
一、环境准备
二、安装kafka
在zookeeper集群中三台机子上均要安装
修改配置文件
修改环境变量
配置启动脚本
#!/bin/bash
#chkconfig:2345 22 88
#description:Kafka Service Control Script
KAFKA_HOME='/usr/local/kafka'
case $1 in
start)
echo "---------- Kafka 启动 ------------"
$KAFKA_HOME/bin/kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties
;;
stop)
echo "---------- Kafka 停止 ------------"
$KAFKA_HOME/bin/kafka-server-stop.sh
;;
restart)
$0 stop
$0 start
;;
status)
echo "---------- Kafka 状态 ------------"
count=$(ps -ef | grep kafka | egrep -cv "grep|$$")
if [ "$count" -eq 0 ];then
echo "kafka is not running"
else
echo "kafka is running"
fi
;;
*)
echo "Usage: $0 start|stop|restart|status"
esac
创建topic
三、Filebeat+Kafka+ELK
修改Filebeat配置文件
启动 filebeat
在logstash上新建一个配置文件
启动 logstash
登录 Kibana
以上是关于filebeat + kafka +ELK集群实验的主要内容,如果未能解决你的问题,请参考以下文章
ELFK Filebeat+ELK 部署 zookeeper集群+kafka集群 部署
Kafka架构及Filebeat+Kafka+ELK集群搭建