[Spark][kafka]kafka 生产者，消费者 互动例子
Posted 健哥的数据花园
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了[Spark][kafka]kafka 生产者，消费者 互动例子相关的知识，希望对你有一定的参考价值。
[Spark][kafka]kafka 生产者，消费者 互动例子
# pwd
/usr/local/kafka_2.11-0.10.0.1/bin
创建topic:
# ./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic device_status
WARNING: Due to limitations in metric names, topics with a period (‘.‘) or underscore (‘_‘) could collide. To avoid issues it is best to use either, but not both.
Created topic "device_status".
#
查看topic:
# ./kafka-topics.sh --list --zookeeper localhost:2181
device_status
#
生产者生成消息：
# ./kafka-console-producer.sh --broker-list localhost:9092 --topic device_status
消费者获得消息：
# pwd
/usr/local/kafka_2.11-0.10.0.1/bin
# ./kafka-console-consumer.sh --zookeeper localhost:2181 --topic device_status --from-beginning
在生产者窗口输入：
hi, I am producer 然后按回车
在消费者窗口会看到：
hi, I am producer
以上是关于[Spark][kafka]kafka 生产者，消费者 互动例子的主要内容，如果未能解决你的问题，请参考以下文章
Spark Streaming 实现读取Kafka 生产数据
如何从 kafka 中的两个生产者那里摄取数据并使用 Spark 结构化流加入？