关于kafka的配置acks和min.insync.replicas详解,通俗易懂 一看就会
Posted 总要冲动一次
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了关于kafka的配置acks和min.insync.replicas详解,通俗易懂 一看就会相关的知识,希望对你有一定的参考价值。
acks
描述:producer 发送数据服务端的响应级别
默认 acks = all
acks = all/-1 : 表示kafka isr列表中所有的副本同步数据成功,才返回消息给客户端
acks = 0 :表示客户端只管发送数据,不管服务端接收数据的任何情况
acks = 1 :表示客户端发送数据后,需要在服务端 leader 副本写入数据成功后,返回响应
min.insync.replicas
描述:Kafka ISR 列表中最小同步副本数
默认 min.insync.replicas = 1
当 acks = all/-1 时,建议 min.insync.replicas 的值大于1 且小于 replication.factor 副本数
建议 min.insync.replicas = 2 #当 acks = -1/all 时
总结一下
设置acks=all,且副本数为3
极端情况1:
默认min.insync.replicas=1,极端情况下如果ISR中只有leader一个副本时满足min.insync.replicas=1这个条件,此时producer发送的数据只要leader同步成功就会返回响应,如果此时leader所在的broker crash了,就必定会丢失数据!这种情况不就和acks=1一样了!所以我们需要适当的加大min.insync.replicas的值。
极端情况2:
min.insync.replicas=3(等于副本数),这种情况下要一直保证ISR中有所有的副本,且producer发送数据要保证所有副本写入成功才能接收到响应!一旦有任何一个broker crash了,ISR里面最大就是2了,不满足min.insync.replicas=3,就不可能发送数据成功了!
根据这两个极端的情况可以看出min.insync.replicas的取值,是kafka系统可用性和数据可靠性的平衡!
- 减小 min.insync.replicas 的值,一定程度上增大了系统的可用性,允许kafka出现更多的副本broker crash并且服务正常运行;但是降低了数据可靠性,可能会丢数据(极端情况1)。
- 增大 min.insync.replicas 的值,一定程度上增大了数据的可靠性,允许一些broker crash掉,且不会丢失数据(只要再次选举的leader是从ISR中选举的就行);但是降低了系统的可用性,会允许更少的broker crash(极端情况2)。
官网中关于min.insync.replicas参数的描述如下:
当生产者将确认设置为“all”(或“-1”)时,min.insync.replicas 指定必须确认写入的最小副本数才能被视为成功。如果无法满足此最小值,则生产者将引发异常(NotEnoughReplicas 或 NotEnoughReplicasAfterAppend)。
当一起使用时,min.insync.replicas 和 acks 允许您强制执行更大的持久性保证。一个典型的场景是创建一个复制因子为 3 的主题,将 min.insync.replicas 设置为 2,并使用“all”的 acks 生成。如果大多数副本没有收到写入,这将确保生产者引发异常。
参考:https://www.szzdzhp.com/kafka/qa/acksAndMir.html
先这样,后面有需要在增改!
以上是关于关于kafka的配置acks和min.insync.replicas详解,通俗易懂 一看就会的主要内容,如果未能解决你的问题,请参考以下文章
关于kafka数据丢失场景的一次激烈讨论.... |文末送书
acks和min.insync.replicas配置详解,通俗易懂 一看就会
Confent Kafka Python生产者未使用ACKS =所有配置进行生产
kafka线上问题优化:消息丢失重复消费消息积压延时队列顺序消费