Kafka 集群消息监控系统：Kafka Eagle

Posted 2021-01-09 cac2020

基于kafka:
kafka_2.11-0.11.0.0.tgz
kafka-eagle-bin-1.2.1.tar.gz

1.下载解压
tar -zxvf kafka-eagle-bin-1.2.1.tar.gz -C /home/cluster

2.配置
vim /home/cluster/kafka-eagle/conf/system-config.properties

#zookeeper集群别名 可以多个
kafka.eagle.zk.cluster.alias=cluster1,cluster2
#zookeeper集群ip端口清单
cluster1.zk.list=tdn1:2181,tdn2:2181,tdn3:2181
cluster2.zk.list=xdn1:2181,xdn2:2181,xdn3:2181

#zookeeper客户端zkCli最大个数
kafka.zk.limit.size=25

#kafka.eagle管控台访问端口 访问http://ip:8048/ke/
kafka.eagle.webui.port=8048

######################################
# 如果你的offsets存储在Kafka中，这里就配置
# 属性值为kafka，如果是在Zookeeper中，可以
# 注释该属性。一般情况下，Offsets的也和你消
# 费者API有关系，如果你使用的Kafka版本为0.10.x
# 以后的版本，但是，你的消费API使用的是0.8.2.x
# 时的API，此时消费者依然是在Zookeeper中
######################################
cluster1.kafka.eagle.offset.storage=kafka
######################################
# 如果你的集群一个是新版本（0.10.x以上），
# 一个是老版本（0.8或0.9），可以这样设置，
# 如果都是新版本，那么可以将值都设置成kafka
######################################
cluster2.kafka.eagle.offset.storage=zookeeper

######################################
# 是否启动监控图表，默认是不启动的
######################################
kafka.eagle.metrics.charts=false

######################################
# 在使用Kafka SQL查询主题时，如果遇到错误，
# 可以尝试开启这个属性，默认情况下，不开启
######################################
kafka.eagle.sql.fix.error=false


######################################
# 告警邮件配置，添加你的邮件信息，最好是163
######################################
kafka.eagle.mail.enable=true
kafka.eagle.mail.sa=xxx
[email protected]
kafka.eagle.mail.password=password
kafka.eagle.mail.server.host=smtp.163.com
kafka.eagle.mail.server.port=25

######################################
# 设置告警用户，多个用户以英文逗号分隔
######################################
[email protected]

######################################
# 超级管理员删除主题的Token
######################################
kafka.eagle.topic.token=keadmin

######################################
# 如果启动Kafka SASL协议，开启该属性
######################################
kafka.eagle.sasl.enable=false
kafka.eagle.sasl.protocol=SASL_PLAINTEXT
kafka.eagle.sasl.mechanism=PLAIN

#kafka.eagle使用的DB信息
kafka.eagle.driver=org.sqlite.JDBC
kafka.eagle.url=jdbc:sqlite:/hadoop/kafka-eagle/db/ke.db
kafka.eagle.username=root
kafka.eagle.password=smartloli

3.启动关闭
[[email protected] bin]$
#启动
/home/cluster/kafka-eagle/bin/ke.sh start
#关闭
/home/cluster/kafka-eagle/bin/ke.sh stop
#重启
/home/cluster/kafka-eagle/bin/ke.sh restart
#查看状态
/home/cluster/kafka-eagle/bin/ke.sh status
#查看连接状态
/home/cluster/kafka-eagle/bin/ke.sh stats

启动日志：

 

参考：
Kafka Eagle配置文件：https://ke.smartloli.org/2.Install/2.Installing.html
Kafka Eagle 下载地址：http://download.smartloli.org/
或者 https://github.com/smartloli/kafka-eagle
Kafka Eagle 使用文档：https://ke.smartloli.org/
Kafka监控系统Kafka Eagle剖析：https://www.cnblogs.com/smartloli/p/9371904.html