Kafka Connect 可以成为我的 Hadoop 集群的一部分吗？
Posted
技术标签:
【中文标题】Kafka Connect 可以成为我的 Hadoop 集群的一部分吗？【英文标题】：Can Kafka Connect be part of my Hadoop Cluster? 【发布时间】：2020-08-14 11:41:15 【问题描述】：我目前正在使用一个包含 10 个节点（1 个名称节点和 9 个数据节点）的 Hadoop 集群，其中运行着 Hbase、Hive、Kafka、Zookeeper 和其他 Hadoop 回声系统。现在我想从 RDBMS 中获取数据并将其实时存储在 HDFS 中。我们可以通过在同一个集群中使用 Confluent Source Connector 和 HDFS2 Sink Connector 来做到这一点，还是我需要为 Kafka Connect 提供一个单独的集群？
【问题讨论】：
【参考方案1】：是的。 Kafka Connect 是一个独立的 Java 进程，就像您提到的其他每个组件一样。
我是否需要为 Kafka Connect 提供单独的集群
那是首选，但是是可选的
【讨论】：
以上是关于Kafka Connect 可以成为我的 Hadoop 集群的一部分吗？的主要内容，如果未能解决你的问题，请参考以下文章
使用 Jmx Exporter for Prometheus 缺少 Kafka Connect 指标
无法在 kafka connect docker 映像中运行 kafka connect datagen
Kafka Connect Debezium postgres