kafka-manager配置和使用

Posted hujunzheng

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了kafka-manager配置和使用相关的知识,希望对你有一定的参考价值。

kafka-manager配置

  最主要配置就是用于kafka管理器状态的zookeeper主机。这可以在conf目录中的application.conf文件中找到。

kafka-manager.zkhosts="my.zookeeper.host.com:2181"

  当然也可以声明为zookeeper集群。

kafka-manager.zkhosts="my.zookeeper.host.com:2181,other.zookeeper.host.com:2181"

  另外也可以通过环境变量ZK_HOSTS来表示。

ZK_HOSTS="my.zookeeper.host.com:2181"

  自定义kafka-manager功能,类似于权限管理。

application.features=["KMClusterManagerFeature","KMTopicManagerFeature","KMPreferredReplicaElectionFeature","KMReassignPartitionsFeature"]
  • KMClusterManagerFeature - allows adding, updating, deleting cluster from Kafka Manager
  • KMTopicManagerFeature - allows adding, updating, deleting topic from a Kafka cluster
  • KMPreferredReplicaElectionFeature - allows running of preferred replica election for a Kafka cluster
  • KMReassignPartitionsFeature - allows generating partition assignments and reassigning partitions

kafka-manager打包

  下面的命令将创建一个zip文件,可用于部署应用程序。

./sbt clean dist

  更多的玩法配置请参考:production deployment/configuration.

  这个命令执行的会很慢,而且可能会失败,要反复执行几次。不过我已经执行好了,访问链接: https://pan.baidu.com/s/1123fRCT9ywEgiV6HjzSluw 提取码: r86e 。

kafka-manager运行

  经过上一步打包好之后会生成一个zip,具体zip的位置可以看输出日志。解压zip文件,进入kafka-manager目录。

bin/kafka-manager

  或者指定配置文件位置和端口

bin/kafka-manager -Dconfig.file=/path/to/application.conf -Dhttp.port=8080

  也可以指定java home的位置

 bin/kafka-manager -java-home /usr/local/oracle-java-8

  修改conf/application.conf如下属性

play.http.context = "/kafka-manager"
kafka-manager.zkhosts="localhost:2181"
kafka-manager.zkhosts=${?ZK_HOSTS}
application.features=["KMClusterManagerFeature","KMTopicManagerFeature","KMPreferredReplicaElectionFeature","KMReassignPartitionsFeature"]

  默认的端口是9000

kafka-manager界面详情

  集群监控信息

   技术分享图片

  技术分享图片

   Topic配置信息

  技术分享图片

   Topic对应的消费分组信息

   技术分享图片

   消费者消费详情

  技术分享图片

  消费者列表信息

   技术分享图片

   Borker信息

  技术分享图片

  技术分享图片

以上是关于kafka-manager配置和使用的主要内容,如果未能解决你的问题,请参考以下文章

Kafka集群管理工具kafka-manager的安装使用

Kafka集群管理工具kafka-manager的安装使用

KAFKA-MANAGER安装

如何快速安装kafka-manager

kafka-manager安装

Mac 使用 docker 搭建 kafka 集群 + Zookeeper + kafka-manager