kafka操作指南

Posted 2023-03-04 天地经纶

Kafka是一种开源的分布式流处理平台，被广泛应用于消息传递、日志收集、数据传输等场景。本文将介绍如何使用Kafka进行消息传递和处理。
安装和配置

在开始使用Kafka之前，我们需要安装和配置Kafka服务器。以下是安装和配置Kafka的步骤：

下载Kafka
首先，我们需要从官方网站[https://kafka.apache.org/]下载Kafka。

解压Kafka
下载后，我们需要解压Kafka，并将解压后的目录重命名为kafka。

配置Kafka
接下来，我们需要配置Kafka服务器，主要包括server.properties文件的配置，例如：

broker.id=0
listeners=PLAINTEXT://localhost:9092
log.dirs=/path/to/kafka/logs

其中，broker.id是Kafka服务器的唯一标识符，listeners是Kafka服务器监听的地址和端口，log.dirs是日志目录。

启动Kafka
配置完成后，我们就可以启动Kafka服务器了：

bin/kafka-server-start.sh config/server.properties

Kafka主题和分区

在Kafka中，消息以主题的形式组织，主题可以分为多个分区。每个分区都是一个有序的消息队列，每个消息都有一个在分区中的偏移量。
Kafka操作

Kafka提供了丰富的API，用于创建、发布、订阅消息等操作。以下是一些常用的Kafka操作：
创建主题

可以使用kafka-topics.sh命令创建Kafka主题，例如：

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

其中，–zookeeper参数指定Zookeeper地址，–replication-factor参数指定副本因子，–partitions参数指定分区数，–topic参数指定主题名称。
发布消息

可以使用kafka-console-producer.sh命令发布消息，例如：

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

然后在控制台输入要发布的消息即可。
订阅消息

可以使用kafka-console-consumer.sh命令订阅消息，例如：

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

其中，–bootstrap-server参数指定Kafka服务器地址，–topic参数指定要订阅的主题，–from-beginning参数指定从头开始读取消息。
消费消息

可以使用Kafka提供的API消费消息，例如：

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.serialization.StringDeserializer;

import java.time.Duration;
import java.util.Collections;
import java.util.Properties;

public class KafkaConsumerExample 
    private static final String TOPIC_NAME = "test";
    private static final String BOOTSTRAP_SERVERS = "localhost:9092";
    private static final String GROUP_ID = "test-group";

    public static void main(String[] args) 
        Properties props = new Properties();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, BOOTSTRAP_SERVERS);
        props.put(ConsumerConfig.GROUP_ID_CONFIG, GROUP_ID);
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());

        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Collections.singletonList(TOPIC_NAME));

        while (true) 
            ConsumerRecords<String, String> records = consumer.poll(Duration.ofSeconds(1));
            records.forEach(record -> 
                System.out.println("Received message: " + record.value());
            );