Kafka集群架构 - Mirror Maker

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Kafka集群架构 - Mirror Maker相关的知识,希望对你有一定的参考价值。

我有一个由5个经纪人和4个镜像制造商组成的Kafka集群,用于镜像来自2个不同数据中心的日期。我知道kafka代理需要自己的专用硬件,特别是因为磁盘I / O,内存使用率和CPU密集型应用程序。

我想知道在一个甚至是Kafka经纪人的节点上部署镜像制造商流程是否有意义,或者我是否应考虑让镜像制造商在:

  • 专用节点
  • 托管zookeeper服务器的节点

HDFS和其他cloudera服务部署在不同的节点上。

在此先感谢,Beniamino

答案

MirrorMaker只是一个常规的Java Producer / Consumer对。

如果您编写了一个从远程数据中心读取的应用程序,那么在自己的硬件上运行它是否有意义?你有资源吗?我个人不会在经纪人或动物园管理员处运行它。

如果您在可用Docker或Kubernetes的数据中心中运行,则可以在自己的容器中部署所有镜像实例。或者,您可以使用正则表达式白名单模式在一个JVM中运行所有主题。

但是,如果您选择部署,建议让MirrorMaker的使用过程位于远程数据中心,以便将数据提取并生成到本地群集。

Confluent has discussions about this topic

以上是关于Kafka集群架构 - Mirror Maker的主要内容,如果未能解决你的问题,请参考以下文章

kafka 镜像操作

Kafka集群数据同步至另一个Kafka集群

请问如何翻译rpg maker 游戏?我要翻译一下the mirror lied ?谢谢

实战Kafka之异地双活--MirrorMaker1.0

kafka集群安装

安装kafka 集群 步骤