Kafka 连接教程停止工作

Posted 2023-03-23

【中文标题】Kafka 连接教程停止工作

【英文标题】：Kafka connect tutorial stopped working

【发布时间】：2016-12-24 18:24:16

【问题描述】：

我在这个链接上按照第 7 步（使用 Kafka Connect 导入/导出数据）：

http://kafka.apache.org/documentation.html#quickstart

在我删除“test.txt”文件之前它运行良好。主要是因为这就是 log4j 文件的工作方式。一段时间后，文件将被轮换——我的意思是——它将被重命名，并且将开始写入一个同名的新文件。

但之后，我删除了“test.txt”，连接器停止工作。我重新启动了连接器、代理、zookeeper 等，但来自“test.txt”的新行不会进入“connect-test”主题，因此不会进入“test.sink.txt”文件。

我该如何解决这个问题？

【参考方案1】：

连接器会保留其“从文件读取的最后位置”的选项卡，因此如果它在读取文件时崩溃，它可以从中断的地方继续。

问题是您删除了文件而没有将偏移量重置为 0，因此它基本上看不到任何新数据，因为它等待新数据从头开始以特定字符数开始显示...

重置偏移量的解决方法。如果你在独立模式下使用 connect，偏移量默认存储在 /tmp/connect.offsets 中，只需从那里删除即可。

从长远来看，我们需要一个更好的文件连接器:)