Kappa: Lambda 架构的质疑

Posted 2022-05-31 @SmartSi

1. 什么是 Lambda 架构

Nathan Marz 写了一篇非常受欢迎的博客文章，描述了 Lambda 架构（如何打破 CAP 定理）。Lambda 架构是一种在 MapReduce 和 Storm 或类似系统之上构建流处理应用程序的方法。Lambda 架构如下图所示：

这种架构的工作方式是接收日志，并将其并行输入批处理系统和流处理系统。我们需要两次逻辑处理，一次在批处理系统中，一次在流处理系统中。我们可以在查询时将两个系统的结果融合在一起来产生完整的答案。上述 Lambda 架构可以有很多变种，我们在这做了一些简化。例如，我们可以切换到与 Kafka、Storm 和 Hadoop 等类似的系统上，并使用两个不同的数据库来存储输出表，其中一个针对实时做特定优化，另一个针对批次更新做特定优化。

Lambda 架构的目标是构建复杂异步转换的应用程序，这些应用程序需要低延迟（例如，几秒钟到几小时）的运行。一个很好的例子就是新闻推荐系统，该系统需要抓取各种新闻源，处理和规范化所有输入，然后对它进行索引，排序和存储以进行服务。我曾在 LinkedIn 参与构建许多实时数据系统和管道。其中有一些也是以这种方式运行的，经过思考后我认为这不是最好的方法。我认为有必要陈述一下该架构的优缺点，并给出我喜欢的替代方案。

2. 优点

我