kafka使用Apache Kafka构建可靠的再处理和死信队列

Posted 九师兄

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了kafka使用Apache Kafka构建可靠的再处理和死信队列相关的知识,希望对你有一定的参考价值。

1.概述

翻译:Building Reliable Reprocessing and Dead Letter Queues with Apache Kafka


在分布式系统中,重试是不可避免的。从网络错误到复制问题,甚至下游依赖关系中的停机,大规模运行的服务必须准备好尽可能优雅地遇到、识别和处理故障。

考虑到优步运营的范围和速度,我们的系统必须具有容错性,在智能故障方面毫不妥协。为了实现这一点,我们利用了Apache Kafka,这是一个开源的分布式消息传递平台,它已经经过了行业测试,可以大规模交付高性能。

利用这些特性,Uber保险工程团队通过使用非阻塞的请求再处理和死信队列(DLQ)来实现解耦合的、可观察的错误处理,而不破坏实时流量,扩展了Kafka在我们现有事件驱动架构

以上是关于kafka使用Apache Kafka构建可靠的再处理和死信队列的主要内容,如果未能解决你的问题,请参考以下文章

大规模使用 Apache Kafka 的20个最佳实践

必读 | 大规模使用 Apache Kafka 的20个最佳实践

Streaming SQL for Apache Kafka

使用Scala开发Apache Kafka的TOP 20大好用实践

Apache Kafka 在大型应用中的 20 项最佳实践

kafka数据可靠性深度解读