kafka unclean 配置代表啥，会对 spark streaming 消费有什么影响？
Posted programb
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了kafka unclean 配置代表啥，会对 spark streaming 消费有什么影响？相关的知识，希望对你有一定的参考价值。
unclean.leader.election.enable 为true的话，意味着非ISR集合的broker 也可以参与选举，这样有可能就会丢数据，spark streaming在消费过程中拿到的 end offset 会突然变小，导致 spark streaming job挂掉。如果unclean.leader.election.enable参数设置为true，就有可能发生数据丢失和数据不一致的情况，Kafka的可靠性就会降低；而如果unclean.leader.election.enable参数设置为false，Kafka的可用性就会降低。
以上是关于kafka unclean 配置代表啥，会对 spark streaming 消费有什么影响？的主要内容，如果未能解决你的问题，请参考以下文章