kafka

Posted ldms

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了kafka相关的知识,希望对你有一定的参考价值。

启动 zookeeper

1、./zkServer restart

启动kafaka

2、./kafka-server-start /usr/local/etc/kafka/server.properties

 

创建topic

3、./kafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

查询topic 列表

4、 ./kafka-topics --list --zookeeper localhost:2181

 

 

Zookeeper

启动ZK服务

./zkServer start

 

查看ZK服务状态

bin/zkServer status

 

停止ZK服务

bin/zkServer stop

 

重启ZK服务

bin/zkServer restart

 

连接服务器

bin/zkCli -server 127.0.0.1:2181

 

查看根目录

ls /


创建 testnode节点

create /zk/testnode "test"

 

查看节点内容

get /zk/testnode


设置节点内容

set /zk/testnode test

 

删除节点

delete /zk/testnode

 

 

 

 

 

性能测试

./kafka-producer-perf-test --messages 500000 --message-size 1000 --batch-size 500 --topics test --threads 2 --broker-list localhost:9092

bin/kafka-consumer-perf-test --zookeeper localhost:2181 --messages 500000 --topic test --threads 1

 

运行Producer并将Terminal输入的消息发送到服务端

./kafka-console-producer --broker-list localhost:9092 --topic my-topic

<< This is a messageThis is another message

 

 

启动Consumer读取消息并输出到标准输出

./kafka-console-consumer --zookeeper localhost:2181 --topic my-topic --from-beginning

 

查看指定Topic状态

./kafka-topics --describe --zookeeper localhost:2181 --topic my-topic

查看已存在Topic列表

./kafka-topics --list --zookeeper localhost:2181

 

新建Topic

./kafka-topics  --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-topic

以上是关于kafka的主要内容,如果未能解决你的问题,请参考以下文章

Kafka-文件管理

Flink实战系列Flink 1.14.0 消费 kafka 数据自定义反序列化器

kafkaThe group member needs to have a valid member id before actually entering a consumer group(代码片段

SpringCloud系列十一:SpringCloudStream(SpringCloudStream 简介创建消息生产者创建消息消费者自定义消息通道分组与持久化设置 RoutingKey)(代码片段

Camel-Kafka java.io.EOFException - NetworkReceive.readFromReadableChannel

在ansible模板中使用动态组名称