filebeat + kafka +ELK集群实验

Posted 贪吃小松鼠

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了filebeat + kafka +ELK集群实验相关的知识,希望对你有一定的参考价值。

一、环境准备

二、安装kafka

在zookeeper集群中三台机子上均要安装


修改配置文件






修改环境变量



配置启动脚本

#!/bin/bash
#chkconfig:2345 22 88
#description:Kafka Service Control Script
KAFKA_HOME='/usr/local/kafka'
case $1 in
start)
	echo "---------- Kafka 启动 ------------"
	$KAFKA_HOME/bin/kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties
;;
stop)
	echo "---------- Kafka 停止 ------------"
	$KAFKA_HOME/bin/kafka-server-stop.sh
;;
restart)
	$0 stop
	$0 start
;;
status)
	echo "---------- Kafka 状态 ------------"
	count=$(ps -ef | grep kafka | egrep -cv "grep|$$")
	if [ "$count" -eq 0 ];then
        echo "kafka is not running"
    else
        echo "kafka is running"
    fi
;;
*)
    echo "Usage: $0 start|stop|restart|status"
esac


创建topic

三、Filebeat+Kafka+ELK

修改Filebeat配置文件



启动 filebeat

在logstash上新建一个配置文件

启动 logstash

登录 Kibana


以上是关于filebeat + kafka +ELK集群实验的主要内容,如果未能解决你的问题,请参考以下文章

filebeat + kafka +ELK集群实验

filebeat + kafka +ELK集群实验

ELFK Filebeat+ELK 部署 zookeeper集群+kafka集群 部署

Kafka架构及Filebeat+Kafka+ELK集群搭建

Kafka架构及Filebeat+Kafka+ELK集群搭建

ELK+kafka+filebeat搭建生产ELFK集群 --markdown 语法