Kafka集群管理工具kafka-manager安装使用

Posted 2022-03-15

（一）、简介
kafka-manager是最受欢迎的kafka集群管理工具，有如下功能：

• 管理多个集群
• 轻松检查群集状态（主题，消费者，偏移，代理，副本分发，分区分发）
• 运行首选副本选举
• 使用选项生成分区分配以选择要使用的代理
• 运行分区重新分配（基于生成的分配）
• 使用可选主题配置创建主题（0.8.1.1具有与0.8.2+不同的配置）
• 删除主题（仅支持0.8.2+并记住在代理配??置中设置delete.topic.enable = true）
• 主题列表现在指示标记为删除的主题（仅支持0.8.2+）
• 批量生成多个主题的分区分配，并可选择要使用的代理
• 批量运行重新分配多个主题的分区
• 将分区添加到现有主题
• 更新现有主题的配置
• 可随意开启对broker级别或者对topic级别的JMX轮询
• 可方便的过滤出没有id 、所有者、延迟或目录等的消费者

kafka-manager项目地址如下：https://github.com/yahoo/kafka-manager/releases ，可对应下载相应的版本。

（二）、安装和配置

[[email protected] opt]#wget https://github.com/yahoo/kafka-manager/archive/2.0.0.2.tar.gz
[[email protected] opt]#cd kafka-manager-2.0.0.2/
[[email protected] opt]#curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repo
[[email protected] opt]#mv bintray-sbt-rpm.repo /etc/yum.repos.d/
[[email protected] opt]#yum install sbt
[[email protected] opt]#sbt-version
[[email protected] opt]#./sbt clean dist
[[email protected] opt]#cd /usr/local/kafka-manager/target/universal/
[[email protected] opt]#mv kafka-manager-2.0.0.2/ /usr/local/kafka-manager2
########修改kafka-manager.zkhosts
[[email protected] opt]#[[email protected] opt]# vim /usr/local/kafka-manager2/conf/application.conf 

kafka-manager.zkhosts="172.19.168.92:2181,172.19.152.247:2181,172.19.152.245:2181"
#########启动默认地址是9000也可以通过 -Dhttp.port，指定端口; -Dconfig.file=conf/application.conf指定配置文件:
[[email protected] opt]#yum install coreutils
[[email protected] opt]#[[email protected] opt]# nohup --version
nohup (GNU coreutils) 8.22
Copyright (C) 2013 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html>.
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

Written by Jim Meyering.
[[email protected] opt]# nohub /usr/local/kafka-manager2/bin/kafka-manager &
[[email protected] kafka-manager2]# netstat -lntp|grep  9000
tcp        0      0 0.0.0.0:9000            0.0.0.0:*               LISTEN      26579/java 

（三）、使用配置。
1、新建cluster集群

Enable JMX Polling
是否开启 JMX 轮训，该部分直接影响部分 kafka broker 和 topic 监控指标指标的获取（生效的前提是 kafka 启动时开启了 JMX_PORT。主要影响如下指标的查看：

2、Enable Active OffsetCache
是否开启 offset 缓存，决定 kafka-manager 是否缓存住 topic 的相关偏移量。

其它参数说明

其它参数说明
参数名 参数说明 默认值 备注
brokerViewUpdatePeriodSeconds Broker视图周期更新时间/单位（s） 30
clusterManagerThreadPoolSize 集群管理线程池大小 2
clusterManagerThreadPoolQueueSize 集群管理线程池列队大小 100
KafkaCommandThreadPoolSize Kafka命令线程池大小 2
logkafkaCommandThreadPoolQueueSize logkafka命令线程池列队大小 100
logkafkaUpdatePeriodSeconds Logkafka周期更新时间/单位（s） 30
partitionOffsetCacheTimeoutSecs Partition Offset缓存过期时间/单位（s） 5
brokerViewThreadPoolSize Broker视图线程池大小 8 3 number_of_brokers
brokerViewThreadPoolQueue Size Broker视图线程池队列大小 1000 3 total # of partitions across all topics
offsetCacheThreadPoolSize Offset缓存线程池大小 8
offsetCacheThreadPoolQueueSize Offset缓存线程池列队大小 1000
kafkaAdminClientThreadPoolSize Kafka管理客户端线程池大小 8
kafkaAdminClientTheadPoolQueue Sizec Kafka管理客户端线程池队列大小 1000
kafkaManagedOffsetMetadataCheckMillis Offset元数据检查时间 30000 （这部分解释属自己理解）
kafkaManagedOffsetGroupCacheSize Offset组缓存大小 100000 （这部分解释属自己理解）
kafkaManagedOffsetGroupExpireDays Offset组缓存保存时间 7 （这部分解释属自己理解）
Security Protocol 安全协议 PLAINTEXT [SASL_PLAINTEXT,SASL_SSL,SSL]

具体可以参考如下：https://blog.csdn.net/u011089412/article/details/87895652