apache kafka监控系列-KafkaOffsetMonitor

Posted brucemengbm

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了apache kafka监控系列-KafkaOffsetMonitor相关的知识,希望对你有一定的参考价值。

apache kafka中国社区QQ群:162272557

概览

近期kafka server消息服务上线了,基于jmx指标參数也写到zabbix中了。但总认为缺少点什么东西。可视化可操作的界面。

zabbix中数据比較分散,不能集中看整个集群情况。

或者一个cluster中broker列表。自己写web-console比較耗时耗力,用原型工具画了一些管理界面东西,关键自己也不前端方面技术,这方面比較薄弱。这不开源社区提供了kafka的web管理平台KafkaOffsetMonitor.就迅速拿过来执行。大家不要着急,立即娓娓道来。

说明:

这个应用程序来实时监控你kafka服务的consumer以及他们在partition中的offset(偏移)。 

你能够浏览当前的消费者组,每一个topic的全部partition的消费情况都能够一览无余。这事实上是非常实用得,从这里你非常快知道每一个partition的message是否非常快被消费(没有堵塞)。他能指导你(kafka producer和consumer)优化代码。

这个web管理平台保留的partition offset和consumer滞后的历史数据,所以你能够非常轻易了解这几天consumer消费情况。 

KafkaOffsetMonitor功能:

1.从标题都能够看出来,Kafka Offset Monitor,是对consumer消费情况进行监控,并能列出每一个consumer offset,滞后数据。

2.消费者组列表

3.每一个topic的全部parition列表(topic,pid,offset,logSize,lag,owner)

4.查看topic的历史消费信息.

尽管功能覆盖面不全,可是非常有用。

1.下载

github官网下载

KafkaOffsetMonitor

百度云下载(网速快)

百度云KafkaOffsetMonitor下载

说明:百度云下载为改动版本号,由于KafkaOffsetMonitor中有些资源文件(css,js)是訪问外网的。特别是有訪问google资源,大家都懂的,常常不能訪问。

建议下载改动版

2.安装

KafkaOffsetMonitor执行比較简单,由于全部执行文件。资源文件,jar文件都打包到KafkaOffsetMonitor-assembly-0.2.0.jar了,直接执行就能够。这样的方式太棒了。既不用编译也不用配置,呵呵。也不是绝对不配置。

a.新建一个文件夹kafka-offset-console,然后把jar复制到该文件夹下.

b.新建脚本,由于您可能不是一个kafka集群。用脚本能够启动多个

[email protected]:   vim mobile_start_en.sh

#!/bin/bash
java -Xms512M -Xmx512M -Xss1024K -XX:PermSize=256m -XX:MaxPermSize=512m -cp KafkaOffsetMonitor-assembly-0.2.0.jar \
     com.quantifind.kafka.offsetapp.OffsetGetterWeb \
     --zk 192.168.2.101:2181,192.168.2.102:2182,192.168.2.103:2181/config/mobile/xxx \               
     --port 8086 \
     --refresh 10.seconds \
     --retain 7.days 1>mobile-logs/stdout.log 2>mobile-logs/stderr.log &

注意:/config/mobile/xxx  表示zk的根文件夹,须要手工创建,也能够不设置

3.执行

[email protected]:  chmod +x mobile_start_en.sh

[email protected]:  ./mobile_start_en.sh

serving resources from: jar:file:/opt/xxx/kafka-offset-console/KafkaOffsetMonitor-assembly-0.2.0.jar!/offsetapp

6 演示截图:

消费者组列表

技术分享

topic的全部partiton消费情况列表


技术分享

以上图中參数含义解释例如以下:

topic:创建时topic名称

partition:分区编号

offset:表示该parition已经消费了多少条message

logSize:表示该partition已经写了多少条message

Lag:表示有多少条message没有被消费。

Owner:表示消费者

Created:该partition创建时间

Last Seen:消费状态刷新最新时间。

kafka正在执行的topic

技术分享

kafka集群中topic列表

技术分享

kafka集群中broker列表

技术分享


请注明转载自:http://blog.csdn.net/lizhitao/article/details/27199863




















以上是关于apache kafka监控系列-KafkaOffsetMonitor的主要内容,如果未能解决你的问题,请参考以下文章

技术实战 |《Apache Kafka实战》作者胡夕:Apache Kafka监控与调优

如何监控 Apache Kafka 指标?

Kafka系列之-Kafka监控工具KafkaOffsetMonitor配置及使用

Kafka系列之-Kafka监控工具KafkaOffsetMonitor配置及使用

Apache Kafka系列 Kafka Connect及FileConnector示例

Apache Kafka系列