kafka可视化web管理工具-KafkaMmap

Posted 2023-04-02 WinJayX

kafka可视化web管理工具-KafkaMmap

​ 使用过kafka的小伙伴应该都知道kafka本身是没有管理界面的，所有操作都需要手动执行命令来完成。但有些命令又多又长，如果没有做笔记，别说是新手，就连老手也不一定能记得住，每次想要使用的时候都要上网搜索一下。有些崇尚geek精神的人或许觉得命令行才是真爱，但使用一款好用的可视化管理工具真的可以极大的提升效率。

​ 今天给大家介绍的这款工具叫做kafka-map，是我针对日常工作中高频使用的场景开发的，使用了这款工具之后就不必费心费力的去查资料某个命令要怎么写，就像是：“给编程插上翅膀，给kafka装上导航”。

kafka-map 简介

kafka map是使用Java11和React开发的一款kafka可视化工具。

目前支持的功能有：

• 多集群管理
• 集群状态监控（分区数量、副本数量、存储大小、offset）
• 主题创建、删除、扩容（删除需配置delete.topic.enable = true）
• broker状态监控
• 消费者组查看、删除
• 重置offset
• 消息查询（支持String和json方式展示）
• 发送消息（支持向指定的topic和partition发送字符串消息）
• 功能截图

截图

添加集群

集群管理

broker

主题管理

消费组

查看消费组已订阅主题

topic详情——分区

topic详情——broker

topic详情——消费组

topic详情——消费组重置offset

topic详情——配置信息

生产消息

消费消息

延迟消息

协议与条款

如您需要在企业网络中使用 kafka-map ，建议先征求 IT 管理员的同意。下载、使用或分发 kafka-map 前，您必须同意 协议 条款与限制。本项目不提供任何担保，亦不承担任何责任。

依赖环境

• Java11 或更高版本
• Apache Kafka 1.1.0 或更高版本

Docker方式安装

环境变量

参数	含义
DEFAULT_USERNAME	初始登录账号
DEFAULT_PASSWORD	初始登录密码

docker run -d \\
    -p 8080:8080 \\
    -v `pwd`/data:/usr/local/kafka-map/data \\
    -e DEFAULT_USERNAME=admin \\
    -e DEFAULT_PASSWORD=admin \\
    --name kafka-map \\
    --restart always dushixiang/kafka-map:latest

原生方式安装

下载

wget https://github.com/dushixiang/kafka-map/releases/latest/download/kafka-map.tgz

解压

tar -zxvf kafka-map.tgz -C /usr/local/

前台运行

# kafka-map文件夹
cd /usr/local/kafka-map
# 根据需求自行修改配置
vi application.yml
# 启动
java -jar kafka-map.jar 

系统服务方式运行

cat <<EOF >> /etc/systemd/system/kafka-map.service
[Unit]
Description=kafka map service
After=network.target

[Service]
WorkingDirectory=/usr/local/kafka-map
ExecStart=/usr/bin/java -jar /usr/local/kafka-map/kafka-map.jar
Restart=on-failure

[Install]
WantedBy=multi-user.target

重载系统服务&&设置开机启动&&启动服务&&查看状态

systemctl daemon-reload
systemctl enable kafka-map
systemctl start kafka-map
systemctl status kafka-map

使用

接下来使用浏览器打开服务器的 8080 端口即可访问。

FAQ

不想使用8080端口怎么办？

在启动命令上增加 --server.port=1234 即可修改端口为 1234。
# 示例
java -jar kafka-map.jar --server.port=1234

kafka 可视化工具Kafka Eagle

参考1：https://www.cnblogs.com/wt645631686/p/8452399.html

参考2： https://blog.csdn.net/Felix_CB/article/details/85328499

一 .下载安装包  kafka-eagle-bin-1.2.4.tar.gz

百度云链接：链接:https://pan.baidu.com/s/1SNIkpsvs20A_Ljtx5PaMuA  密码:o4bi

wget https://github.com/smartloli/kafka-eagle-bin/archive/v1.2.7.tar.gz
tar -zxvf v1.2.7
cd kafka-eagle-bin-1.2.7
tar -zxvf kafka-eagle-web-1.2.7-bin.tar.gz -C /opt/bigdata/
cd /opt/bigdata/
mv kafka-eagle-web-1.2.7/kafka-eagle

 

或者

二、设置全局变量，设置JDK的全局变量JAVA_HOME和本应用的KE_HOME

# vim /etc/profile

#———start
export JAVA_HOME=/usr/local/jdk
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

export KE_HOME=/usr/local/src/kafka-eagle-bin-1.2.4/kafka-eagle-web-1.2.4
export PATH=$PATH:$KE_HOME/bin:$JAVA_HOME/bin

#———end

# source /etc/profile

 

三、进入conf目录修改配置文件 system-config.properties

#配置文件详情介绍
 
#kafkazookeeper节点配置属性多个可以添加一个，cluster1 
kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=172.16.81.135:2181
######################################
# zk 线程数量
######################################
kafka.zk.limit.size=25
 
######################################
# kafka eagle 的端口
######################################
kafka.eagle.webui.port=8048
 
######################################
# kafka offset storage
######################################
cluster1.kafka.eagle.offset.storage=kafka
 
######################################
# enable kafka 开启图表
# 及开始sql查询
######################################
kafka.eagle.metrics.charts=true
 
kafka.eagle.sql.fix.error=true
######################################
# 提醒的email
######################################
kafka.eagle.mail.enable=true
kafka.eagle.mail.sa=alert_sa
kafka.eagle.mail.username=[e-mail]
kafka.eagle.mail.password=mqslimczkdqabbbh
kafka.eagle.mail.server.host=smtp.163.com
kafka.eagle.mail.server.port=25
 
######################################
# 删除kafka topic 的token
######################################
kafka.eagle.topic.token=keadmin
 
######################################
# kafka sasl authenticate
######################################
kafka.eagle.sasl.enable=false
kafka.eagle.sasl.protocol=SASL_PLAINTEXT
kafka.eagle.sasl.mechanism=PLAIN
 
######################################
# kafka jdbc 地址注意可以自己安装数据mysql也可以自带的
######################################
kafka.eagle.driver=org.sqlite.JDBC
kafka.eagle.url=jdbc:sqlite:/kafka/kafka-eagle-bin-1.2.4/kafka-eagle-web-1.2.4/db/ke.db
kafka.eagle.username=root
kafka.eagle.password=smartloli

四、启动 

#进入bin目录后会看到 ke.sh 文件先修改文件的权限
sudo chomd 777 ke.sh
#启动命令
./ke.sh start

5、 页面查看

http://ip:8048/ke