Kafka(华为FusionInsight )操作命令

Posted 2020-12-28 runnerjack

华为大数据kafka操作
web界面创建角色、用户。用户管理角色
进入服务器环境，进入客户端目录/opt/hadoopclient，导入环境变量source bigdata_env。
切换用户kinit kafka用户（kafka_test）

1. 查看当前集群Topic列表。

   bin/kafka-topics.sh --list --zookeeper <ZooKeeper集群IP:24002/kafka>

2. 查看单个Topic详细信息。

   bin/kafka-topics.sh --describe --zookeeper <ZooKeeper集群IP:24002/kafka> --topic <Topic名称>

3. 删除Topic，由管理员用户操作。

   bin/kafka-topics.sh --delete --zookeeper <ZooKeeper集群IP:24002/kafka> --topic <Topic名称>

4. 创建Topic，由管理员用户操作。

   bin/kafka-topics.sh --create --zookeeper <ZooKeeper集群IP:24002/kafka> --partitions 6 --replication-factor 2 --topic <Topic名称>

5. Old Producer API生产数据，服务端“allow.everyone.if.no.acl.found”配置为“True”。

   bin/kafka-console-producer.sh --broker-list <Kafka集群IP:21005> --topic <Topic名称> --old-producer -sync

6. Old Consumer API消费数据，服务端“allow.everyone.if.no.acl.found”配置为“True”。

   bin/kafka-console-consumer.sh --zookeeper <ZooKeeper集群IP:24002/kafka> --topic <Topic名称> --from-beginning

7. 赋Consumer权限命令，由管理员用户操作。

   bin/kafka-acls.sh --authorizer-properties zookeeper.connect=<ZooKeeper集群IP:24002/kafka > --add --allow-principal User:<用户名> --consumer --topic <Topic名称> --group <消费者组名称>

8. 赋Producer权限命令，由管理员用户操作。

   bin/kafka-acls.sh --authorizer-properties zookeeper.connect=<ZooKeeper集群IP:24002/kafka > --add --allow-principal User:<用户名> --producer --topic <Topic名称>

9. New Producer API生产消息，需要拥有该Topic生产者权限。

   bin/kafka-console-producer.sh --broker-list <Kafka集群IP:21007> --topic <Topic名称> --producer.config config/producer.properties

10. New Consumer API消费数据，需要拥有该Topic的消费者权限

    bin/kafka-console-consumer.sh --topic <Topic名称> --bootstrap-server <Kafka集群IP:21007> --new-consumer --consumer.config config/consumer.properties