Kafka系列二之部署与使用

Posted 2021-01-16 liuge36

Kafka部署与使用

写在前面
从上一篇Kafka的架构介绍和安装中，可能，你还一直很蒙，kafka到底该怎么使用呢？接下来，我们就来介绍Kafka的部署与使用。上篇文章中我们说到，Kafka的几个重要组成是:1.producer 2.consumer 3.broker 4.topic .因此我们就是围绕这几个组件来使用我们的Kafka.

如何开始呢？

我们查看官网上面是如何说的，http://kafka.apache.org/quickstart。
接着，第二步，我们启动了一个kafka的server,下面就是应该开始Create a topic

Step 1: Create a topic

bin/kafka-topics.sh --create --zookeeper localhost:2181
--replication-factor 1 --partitions 1 --topic test

解释：
--zookeeper：创建的时候必须指定zk的地址
--replication-factor 副本系数
--partitions 分区数

查看topic

bin/kafka-topics.sh --list --zookeeper localhost:2181

[[email protected] ~]$ kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test1
Created topic "test1".
[[email protected] ~]$ 

Step 2:Send some messages

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

--broker-list 生产的消息放在什么地方（这个地址是之前的broker设置的）
--topic 打上之前的标签

Step 3: Start a consumer

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

--bootstrap-server ：文档的误差
这里应该修改为—zookeeper，所以后面的端口也是应该修改的

命令：
kafka-console-consumer.sh --zookeeper hadoop000:2181 --topic hello_topic --from-beginning

--from-beginning 加上这个参数可以接收到之前的数据
不加这个参数的话 只能够收到执行这条命令之后的，生产者生产的数据

到这里我们就部署完成了。开始测试：

ok,我们生产者生产的消息，消费者全部都是接收到了的

这里说明一下，在大数据的场景中，我们的生产者一般都是Flume的sink端，即Flume把数据输出到Kafka中去。然后，我们的消费者，就是SparkStreaming等数据处理的东西，后面，我们就来实现flume=>Kafka==>>SparkStreaming的对接.....