kafka专栏如何保证数据生产不重不漏的高可靠性

Posted 2022-06-17 字母哥哥

kafka要保证消息的生产消费可靠性，需要从三个方面进行管理，一是kafka集群服务端，二是kafka生产者客户端，三是kafka消费者客户端。只有这三个方面都保证可靠性，才能实现消息不重复、不漏掉！本文主要从kafka生产者客户端的角度说明可靠性及其相关配置，关于其他两个方面请关注本专栏！

文章目录

• • 一、消息发送的确认机制
  • 二、消息发送的重试机制
  • • 2.1.什么样的异常是RetriableException？
    • 2.2.重试多次仍然失败怎么办？
    • 2.3.如何避免重试导致的消息重复问题？

通常情况下，我们希望程序向kafka消息队列中发送消息的过程是可靠的，也就是不能出现消息的丢失。但是在某些场景下，实际的需求并不需要消息的高可靠，比如某个网页的点击量数据。在某些异常情况下如果存在少量的数据丢失，也是可以接受的；比如服务器指标的监控数据，在某些异常情况下如果存在少量数据丢失，其实也会产生很大的影响。

在这些场景下其实并不需要kafka保证数据的高可靠性，保证性能和吞吐量可能更加重要。

kafka为了保证数据生产环节数据的高可靠性提供了一些生产者配置参数，这些配置参数能够帮助我们实现

• 消息不丢失
• 同一个消息不重复发送2次

但是配置