跟我学Kafka:Kafka消费组运维详解

Posted 中间件兴趣圈

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了跟我学Kafka:Kafka消费组运维详解相关的知识,希望对你有一定的参考价值。

作为一个Kafka初学者,需要快速成长,承担维护公司Kafka的重任,对Kafka的学习,我按照三步走策略:

  • 阅读Kafka相关书籍
  • 从运维实战的角度学习Kafka
  • 阅读源码,体系化,精细化掌握其实现原理

本文属于学习的第二阶段:[从运维实战的角度学习Kafka],本文重点介绍kafka-consumer-groups运维命令的使用,从运维、使用驱动对消费组的了解。

1、Kafka 消费组运维命令的基本使用

选项类型详细说明
–delete命令删除消费组,消费组删除后,其对应的消费位点也会被删除,
该命令无法删除在线的消费组(有客户端连接)
–list命令查询所有消费组(列表)
–describe命令查看消费组详情
–reset-offsets命令重置消费组位点
–bootstrap-server选项指定kafka集群的地址
–members选项在–describe时生效,用于显示一个消费组的客户端信息,不显示分区级别
–state选项在–describe时生效,用于显示消费组的状态,主要包括所在
的协调器、分区负载算法等。
–timeout选项超时时间,单位为ms,默认为5000。
–topic选项指定本次操作的主题、分区信息,Kafka删除订阅关系或重置位点时
支持只重置部分主题的部分分区,其格式为:主题:分区列表,示例:
“topic1:0,1,2”,
–verbose选项输出一些更详细的信息,可与–offsets --members --state结合使用
–all-topics选项重置位点(–reset-offsets)时作用域为该消费组所订阅的所有主题。
–by-duration选项重置位点到距离当前时间指定间隔的位移处,格式 ,PnDTnHnMnS,例
重置30分钟之前,格式为PT0H30M0S
–to-current选项重置到当前时间所代表的位点
–to-latest选项重置到最大位点
–to-datetime选项重置大于指定时间所代表的位点最小值,格式为’YYYY-MM-DDTHH:mm:SS.sss’
–to-offset选项重置到指定位点
–to-earliest选项重置到最小位点
–shift-by选项把位点重置到到当前位移 + N 处,N 可以是负数, 表示向前移动
–dry-run选项只显示结果,不真正执行,感觉是模拟执行
–execute选项执行真正的位点重置,如果不带该参数,则不会真正执行位点重置
–export选项将位点重置计划导出到文件
–from-file选项指定位点重置计划,该文件由–export参数生成

接下来对一些要点做一个简单的说明与举例。

1.1 --members 显示消费组成员

在使用–describe选项查看一个消费组信息时会详细显示各个分区的消费情况,而加上–members类似一个分组,以客户端为维度的汇总信息,如下图所示:
在这里插入图片描述

1.2 --state 显示消费组状态

该选项主要用于显示消费组的状态,使用示例如下图所示:
在这里插入图片描述
其列说明如下:

  • COORDINATOR (ID)
    该消费组的控制协调器,例如协调分区重平衡等操作,不同的消费组的协调器所在的Broker不同。

  • ASSIGNMENT-STRATEGY
    分区负载算法,目前Kafka支持Rrange与RoundRobin两种分配上算法,默认为Range,其含义如下图所示:
    在这里插入图片描述

  • State
    消费者状态,主要包括Dead, Stable(稳定状态,可消费消息), CompletingRebalance(正在重平衡), PreparingRebalance(准备重平衡), empty(所有消费不在线)

  • MEMBERS
    成员个数。

1.2 --reset-offsets 重置消费位点

重置消费位点是kafka-consumer-groups的重点功能,我们对常用功能进行演示,只有操作,才能记忆深刻
在这里插入图片描述
Kafka的重置位点需要先停掉所有的消费者。
在这里插入图片描述
执行真正的位点重置需要加上 --execute选项,在真正执行之前,可以用–dry-run模拟执行。

2、总结

在Kafka中,消费组是自动创建的,并且kafka中的消费组并没有提供类似RocketMQ的广播消费模式,也没Topic那么多的运维属性,其实也可以理解,topic是负责具体的数据存储,而消费组只是拉取数据进行处理。


好了,本文就介绍到这里了,一键三连(关注、点赞、留言)是对我最大的鼓励

掌握一到两门java主流中间件,是敲开BAT等大厂必备的技能,送给大家一个Java中间件学习路线,助力大家实现职场的蜕变。

Java进阶之梯,成长路线与学习资料,助力突破中间件领域

最后分享笔者一个硬核的RocketMQ电子书,您将获得千亿级消息流转的运维经验。
在这里插入图片描述
获取方式:私信回复RMQPDF即可获取。

个人网站:https://www.codingw.net

以上是关于跟我学Kafka:Kafka消费组运维详解的主要内容,如果未能解决你的问题,请参考以下文章

跟我学RocketMQ之消息幂等

跟我学Spring Cloud(Finchley版)-17-Zuul路由配置详解

跟我学习SpringCloud 教程第十篇:hystrix参数详解-b2b2c小程序电子商务

跟我学Spring Cloud(Finchley版)-18-Zuul深入

跟我学-域名解析故障排查技巧

过了35岁还有必要学习linux吗