Kafka深入原理(3)-LEO、HW原理

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Kafka深入原理(3)-LEO、HW原理相关的知识,希望对你有一定的参考价值。

参考技术A 1.LEO(last end offset)

当前replica存的当前最大offset的下一个值

2.HW(high watermark) :

小于 HW值得offset所对应的消息被认为是"已提交"或"已备份"的消息,才对消费者可见。

假设ISR中目前有1个leader,3个follower。

1.数据写到leader的partition上 2.leader更新自己的leo, 3.follower带上自己的leo, 4.leader更新follower列表每个follower对应的leo, 5.尝试更新ISR 6.取follower的leo列表最小值做hw并尝试更新, 7.将hw返回follower, 8.follower更新自己的leo 9.follower取自己的hw和leader返回的hw做对比取最小值更新。

出自链接:https://blog.csdn.net/daima_caigou/article/details/109390705

Kafka中的LEO和HW

                最近在学习Kafka底层原理,其中LEO和HW是不易理解的两个概念,所以画了个图:

开发者涨薪指南 48位大咖的思考法则、工作方式、逻辑体系

以上是关于Kafka深入原理(3)-LEO、HW原理的主要内容,如果未能解决你的问题,请参考以下文章

深入理解kafka(一)

Java并发原理解析!dockerelk微服务

Kafka原理你真懂了吗?四万字Kafka教程

kafka学习总结009 --- HW和LEO

Kafka-LEO和HW概念及更新流程

Kafka - 日志结束偏移量(LEO)与高水位线(HW)之间的区别