如何生成输入数据并将其存储到本地文件中我们如何使用kafka读取此输入生成文件的数据

Posted 2023-02-18

为此，我开始了Zookeeper：bin/zookeeper-server-start.sh config/zookeeper.properties

那么kafka服务器：bin/kafka-server-start.sh config/server.properties

话题：bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic fast-messages

那么文件生成的下一步是什么？

答案

您需要解析该文件，并从中编写Kafka生成器。

或者您可以直接将文件传输到Console Producer中。

How to write a file to Kafka Producer

或者use KafkaConnect FileSourceConnector

另一答案

对于同一个问题我也提到了另一个链接，我得到了结果。链接是 - > https://docs.confluent.io/current/streams/quickstart.html

以下是我遵循的步骤 - >

第1步：启动Zookeeper bin/zookeeper-server-start.sh config/zookeeper.properties

第2步：启动kafka服务器bin/kafka-server-start.sh config/server.properties

第3步：创建一个名为“fast-messages”bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic fast-messages的主题

第4步：运行生产者kafka-console-producer.sh --broker-list localhost:9092 --topic fast-messages --new-producer < my_file.txt

第5步：由消费者监听：

/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic fast-messages --from-beginning