kafka笔记2--kafka图形管理工具CMAK

Posted 昕光xg

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了kafka笔记2--kafka图形管理工具CMAK相关的知识,希望对你有一定的参考价值。


kafka笔记2--kafka图形管理工具CMAK

CMAK 简介

CMAK 是一个管理 Apache Kafka clusters 的工具,之前被叫做Kafka Manager。
其具备如下功能:

  • 管理多个集群
  • 很容易检测集群状态
  • 运行首选的副本选举
  • 根据选项生成分区分配
  • 运行分区的重新分配
  • 根据可选的topic配置来生成topic
  • 删除topic
  • topic list显示标记为删除的topics
  • 为多个topic批量生成partition分配
  • 为多个topic批量运行partition 分配
  • 添加partition 到指定topic
  • 运行partition 任务
  • 对现存的topic 配置进行更新
  • 选择性为 broker level and topic level metrics 开放JMX polling
  • 选择性过滤掉在zookeeper中没有ids|owners|offsets|directories的消费者
    ​​​参考 CMAK README.md​

CMAK 安装

  1. 下载并解压
    wget https://github.com/yahoo/CMAK/releases/download/3.0.0.4/cmak-3.0.0.4.zip
    unzip cmak-3.0.0.4.zip
  2. 修改配置文件
    修改application.conf中的hosts为实际hosts
    kafka-manager.zkhosts=“10.120.75.102:2181,10.120.75.103:2181,10.120.75.107:2181”
    cmak.zkhosts=“10.120.75.102:2181,10.120.75.103:2181,10.120.75.107:2181”
  3. 运行cmak
    bin/cmak -Dconfig.file=conf/application.conf -Dhttp.port=8091 &
    或者通过指定jdk方式运行(jdk版本过低无法云心最新的3.0.0.4)
    bin/cmak -java-home /yourpath/soft/jdk-13 -Dconfig.file=conf/application.conf -Dhttp.port=8091 &
  4. 测试
    如下输入ip和端口即可正常访问cmak。
  5. kafka笔记2--kafka图形管理工具CMAK_Kafka

  6. 按照提示填写节点ip和端口后,即可在Cluster-》List中查看当前的kafka集群,如下图:
  7. kafka笔记2--kafka图形管理工具CMAK_zookeeper_02

  8. 进入之后,即可根据菜单查看Broker、Topic、Consumers等信息,也可以选择具体topic并更改相应配置,如下图:
  9. kafka笔记2--kafka图形管理工具CMAK_zookeeper_03

注意事项

  1. zookeeper版本不要太低,太低会报错
    报错内容通常如下:
    Yikes! KeeperErrorCode = Unimplemented for /kafka-manager/mutex Try again.
    解决方法:升级zookeeper到3.5+版本(停止原有zk,配置相同,逐个启动即可)
    ​​​apache zookeeper mirror​​​​zookeeper 官网​

说明

​yahoo cmak github​​​​huawei java-jdk​​​​zookeeper升级​


以上是关于kafka笔记2--kafka图形管理工具CMAK的主要内容,如果未能解决你的问题,请参考以下文章

Kafka 监控工具之 CMAK

Kafka 监控工具之 CMAK

Kafka 3.0 源码笔记-Kafka 服务端的启动与请求处理源码分析

zookeeper接入kafka,安装部署CMAK监控kafka,Windows环境

Kafka学习笔记

kafka学习笔记:知识点整理