Kafka Streams State Store

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Kafka Streams State Store相关的知识,希望对你有一定的参考价值。

问题1:我读到Kafka Streams的所有有状态操作(例如Aggregate,Count等)都会在客户端实例上创建状态存储。当我们将Materialized.with或Materialized.as与状态操作一起使用时,有什么区别?它仅适用于交互式查询吗?还是当我们仅调用有状态操作与通过物化视图调用有状态操作时,内部还有其他事情吗?

问题2:当num.standby.replicas> 0时,内部会发生什么?是复制变更日志主题,还是仅复制状态存储?副本如何获取更改?复制如何进行?

答案

[当我们将Materialized.with或Materialized.as与状态操作一起使用时有什么区别?

Materializes.as()设置商店名称,从而使该商店能够进行交互式查询。这也会影响基础变更日志主题的名称,因此您不应对已部署的应用程序进行更改。除此之外,没有区别。

[num.standby.replicas> 0时内部会发生什么?是复制changelog主题还是仅复制状态存储?

changelog主题是根据代理/主题配置replication.factor复制的。备用任务的数量与changelog主题复制无关,而仅与客户端状态存储复制有关。备用任务,请阅读changelog主题(活动任务写入该主题)以维护复制状态。

以上是关于Kafka Streams State Store的主要内容,如果未能解决你的问题,请参考以下文章

Akka Stream Kafka vs Kafka Streams

Kafka Streams 开发单词计数应用

Kafka Streams入门指南

Kafka streams概览

初探Kafka Streams

Kafka Streams应用程序在kafka服务器上打开了太多文件