超强!!! Kafka高质量专栏学习大全,持续连载中

Posted 2021-09-16 石臻臻的杂货铺

进滴滴技术答疑qun,跟众多技术专家交流技术

运维

Topic增删查(扩容) kafka-topics.sh
kafka的动态配置 kafka-config.sh
Topic发送消息 kafka-console-producer.sh
Topic消费消息 kafka-console-consumer.sh
持续批量推送消息 kafka-verifiable-producer.sh
持续批量拉取消息kafka-verifiable-consumer
生产者压力测试kafka-producer-perf-test.sh
消费者压力测试kafka-consumer-perf-test.sh
删除指定分区的消息kafka-delete-records.sh
查看Broker磁盘信息kafka-log-dirs.sh
消费者组管理 kafka-consumer-groups.sh
查看日志文件 kafka-dump-log.sh
副本扩缩、分区迁移、跨路径迁移 kafka-reassign-partitions
【kafka运维】分区副本重分配、数据迁移、副本扩缩容 (附教学视频)
More…

所有扩展点

kafka动态配置增删改 自定义检验–(alter.config.policy.class.name) 实现类AlterConfigPolicy

创建Topic自定义校验策略 (配置参数 create.topic.policy.class.name)

More…

面试合集

Kafka中ISR、AR是什么？ISR的伸缩又是指什么？
Kafka中的HW、LEO、LSO、LW等分别代表什么？
如何保证消息的顺序性?
简单描述一下生产者发送消息的过程?
有哪些情形会造成重复消费?
那些情景下会造成消息漏消费?
简单描述一下创建/删除Topic的整个流程
topic的分区数可不可以减少？如果可以怎么减少？如果不可以，那又是为什么？
优先副本是什么？它有什么特殊的作用？
简述Kafka的日志目录结构。Kafka中有那些索引文件
简述kafka过期数据清理策略和简单流程
Kafka的那些设计让它有如此高的性能？
Kafka中的延迟队列怎么实现
Kafka中的事务是怎么实现
群友问题合集
【kafka异常】kafka 常见异常处理方案(持续更新)
Kafka的分区和副本数量是由什么决定的, 怎么设置比较合理？
一个Broker节点上的某块数据盘坏了,需要更换,有什么最佳实践吗？
有遇到过topic过期时间,但是到了过期时间却没有正常删除的情况吗?
Kafka有个消费组堆积了.有什么好的解决方法吗？一直在重新平衡
有没有遇到哦过Kafka Rebalance 导致消息回到历史的一个点,比如: 消息回到了3天前的某个点
数据迁移Topic设置限流为50M,为啥网卡流量上是600M呢？
More…

原理源码

kafka分区副本的分配规则
原创 万字长文解析删除Topic流程领导再也不用担心我排查生产环境问题了(附教学视频,建议收藏!!!)
【kafka源码】ReassignPartitionsCommand源码原理分析(附配套教学视频)
【kafka源码】Topic的创建源码分析(附视频)
【kafka原理】zookeeper中的存储结构讲解
【kafka源码】Controller启动过程以及选举流程源码分析
【kafka源码】Controller与Brokers之间的网络通信
【kafka源码】Controller中的状态机
【kafka源码】kafka-configs.sh动态配置
【kafka源码】kafka-topics.sh之删除Topic源码解析
【kafka源码】kafka-topics.sh之alter源码解析(分区扩容)
【kafka源码】LogManager源码分析
Broker上线分析
Broker下线分析
Api请求–元心心控制类请求
消费组协调器GroupCoordinator
副本管理之副本同步流程分析
Log数据管理之数据存储
消费组客户端主题分析
协调器分析
客户端是如何拉取数据的
生产者生产数据流程分析
元信息管理流程
More…

思考

【kafka思考】最小成本的扩缩容副本设计方案
这可可能是kafka中的一个小bug…
More…

实战

【kafka实战】分区重分配可能出现的问题和排查问题思路(生产环境实战,附视频)
【kafka 实战】kafka磁盘满了怎么办！！！
【kafka实战】一不小心删除了brokers topics下的某个Topic节点

未完待续,作者肝文中…