Docker搭建Kafka集群

Posted 2023-04-01 好饿啊早知道不学java了

Docker搭建Kafka集群

Kafka的运行依赖Zookeeper，本文介绍如何在docker顺利搭建一个三个broker构成的kafka集群。将通过以下步骤详细展开：

1. 拉取镜像 bitnami/kafka and bitnami/zookeeper
2. 创建network使集群在同一子网下 knet
3. 创建三个节点的配置文件以供挂载
4. 创建hosts文件以供挂载
5. 运行镜像
6. 测试是否搭建成功

环境说明

linux+centos+jdk8

拉取镜像

zookeeper

docker pull bitnami/zookeeper

kafka

docker pull bitnami/kafka

创建network使集群在同一子网下: knet

docker network create knet

在运行容器时指定 docker run --net knet ...可以将容器置于子网中，ip地址是根据进入子网的顺序递增的。
可通过 docker network ls查看子网列表。
可通过docker network inspect 子网名称查看具体子网下游哪些容器。

创建配置文件

配置文件说明：kafka的配置文件server.properties在容器中的位置为：/bitnami/kafka/config 在运行容器时挂载到这个文件夹即可替换配置文件。
约定：创建三个节点的配置文件分别存放在/home/docker/kafka/config/node1/server.properties、/home/docker/kafka/config/node2/server.properties、/home/docker/kafka/config/node3/server.properties

三个配置文件内容如下：
节点1的server.properties:

# broker id
broker.id = 1
# 监听地址
listeners = PLAINTEXT://node1:9091
advertised.listeners = PLAINTEXT://node1:9091
# 发送响应的线程数
num.network.threads = 2
# io线程数
num.io.threads = 4
# 发送缓存大小
socket.send.buffer.bytes = 10240
# 接收缓存大小
socket.receive.buffer.bytes = 10240
# 最大请求
socket.request.max.bytes = 1048576
# 日志地址
# log.dirs = /tmp/kafka-logs
# 分区数
num.partitions = 1
# zookeeper的地址
zookeeper.connect =172.18.0.2:2181
# 允许容器监听
ALLOW_PLAINTEXT_LISTENER=yes

节点2的server.properties:

# broker id
broker.id = 2
# 监听地址
listeners = PLAINTEXT://node2:9092
advertised.listeners = PLAINTEXT://node2:9092
# 发送响应的线程数
num.network.threads = 2
# io线程数
num.io.threads = 4
# 发送缓存大小
socket.send.buffer.bytes = 10240
# 接收缓存大小
socket.receive.buffer.bytes = 10240
# 最大请求
socket.request.max.bytes = 1048576
# 日志地址
# log.dirs = /tmp/kafka-logs
# 分区数
num.partitions = 1
# zookeeper的地址
zookeeper.connect =172.18.0.2:2181
# 允许容器监听
ALLOW_PLAINTEXT_LISTENER=yes

节点3的server.properties:

# broker id
broker.id = 3
# 监听地址
listeners = PLAINTEXT://node3:9093
advertised.listeners = PLAINTEXT://node2:9093
# 发送响应的线程数
num.network.threads = 2
# io线程数
num.io.threads = 4
# 发送缓存大小
socket.send.buffer.bytes = 10240
# 接收缓存大小
socket.receive.buffer.bytes = 10240
# 最大请求
socket.request.max.bytes = 1048576
# 日志地址
# log.dirs = /tmp/kafka-logs
# 分区数
num.partitions = 1
# zookeeper的地址
zookeeper.connect =172.18.0.2:2181
# 允许容器监听
ALLOW_PLAINTEXT_LISTENER=yes

注意: zookeeper的地址需要你查看你自己的子网ip并且替换，具体操作为：运行zookeeper后执行docker network inspect knet查看。

创建hosts

约定：将要替换掉容器内的hosts文件,以实现将三个容器的hostname修改为node1、node2、node3.
hosts文件存放在/home/docker/kafka/etc/hosts 三个容器使用同一个hosts文件，因为都需要知道node1、node2、node3的具体ip地址。

hosts文件内容如下

127.0.0.1		localhost
172.18.0.3      node1
172.18.0.4      node2
172.18.0.5      node3

注意: 请严格按照zookeeper、node1、node2、node3的顺序启动容器,因为只有这样根据子网分配ip的规律上面的hosts文件各个节点的ip才对，如果子网ip不一样请修改。

运行镜像

按照约定，我们依次启动zookeeper、node1、node2、node3以保证ip的正确性。

启动 zookeeper

docker run -itd --name zookeeper-server -p 12181:2181 \\
 --net knet -e ALLOW_ANONYMOUS_LOGIN=yes bitnami/zookeeper:latest

启动kafka-node1

docker run -itd --name kafka-node1 --net knet -p 19091:9091 \\
-v /home/docker/kafka/config/node1:/bitnami/kafka/config \\
-v /home/docker/kafka/etc/hosts:/etc/hosts \\
-e ALLOW_PLAINTEXT_LISTENER=yes bitnami/kafka

启动kafka-node2

docker run -itd --name kafka-node2 --net knet -p 19092:9092 \\
-v /home/docker/kafka/config/node2:/bitnami/kafka/config \\
-v /home/docker/kafka/etc/hosts:/etc/hosts \\
-e ALLOW_PLAINTEXT_LISTENER=yes bitnami/kafka

启动kafka-node3

docker run -itd --name kafka-node3 --net knet -p 19093:9093 \\
-v /home/docker/kafka/config/node3:/bitnami/kafka/config \\
-v /home/docker/kafka/etc/hosts:/etc/hosts \\
-e ALLOW_PLAINTEXT_LISTENER=yes bitnami/kafka

测试是否搭建成功

首先看看zookeeper和三台kafka是否启动成功,启动成功则进入容器1创建topic发布消息,进入容器2接收该topic的消息。

首先docker ps -a查看所有容器,这些都是UP说明都起来了。

也可以检查一下ip是否正确：

docker network inspect knet

[
    
        "Name": "knet",
        "Id": "8dce5a7c2286dc412779f2eccc6da2ab48e84fd742df3466fe4f18fdc9b90556",
        "Created": "2023-02-26T11:54:40.806440621+08:00",
        "Scope": "local",
        "Driver": "bridge",
        "EnableIPv6": false,
        "IPAM": 
            "Driver": "default",
            "Options": ,
            "Config": [
                
                    "Subnet": "172.18.0.0/16",
                    "Gateway": "172.18.0.1"
                
            ]
        ,
        "Internal": false,
        "Attachable": false,
        "Ingress": false,
        "ConfigFrom": 
            "Network": ""
        ,
        "ConfigOnly": false,
        "Containers": 
            "2ba87b9bc25502cbb5074b2a987bbc112d36e0761347431c4a83194d9908bec9": 
                "Name": "kafka-node3",
                "EndpointID": "79ec91577aec61a472b6af469c66064570ebd81b88e740e2c1744a7ce546018d",
                "MacAddress": "02:42:ac:12:00:05",
                "IPv4Address": "172.18.0.5/16",
                "IPv6Address": ""
            ,
            "549863c6f62ab2fb6e4f673af3836b40f67413687f038d2a0254fa4f80a0b27c": 
                "Name": "kafka-node2",
                "EndpointID": "50d800e401e697953c0c1c6d1962422f433f6e004315f8ce70e9696973be04af",
                "MacAddress": "02:42:ac:12:00:04",
                "IPv4Address": "172.18.0.4/16",
                "IPv6Address": ""
            ,
            "5fc974b8eb4441202e02d75bd4718cfc3dc3be2979bafbb4b89819ce8f6b16a0": 
                "Name": "kafka-node1",
                "EndpointID": "0ff4794752eae5f337a12fca3de76eb00b080bf6999f7d353be4b0531662938e",
                "MacAddress": "02:42:ac:12:00:03",
                "IPv4Address": "172.18.0.3/16",
                "IPv6Address": ""
            ,
            "b887ba0e289bd42ed0c081177e63383e169584b41747cf66ef10142427d15321": 
                "Name": "zookeeper-server",
                "EndpointID": "506951e5f2c26a516d105d979596e59e8ccd59e05ae5441ec3c15f8a2ec1492e",
                "MacAddress": "02:42:ac:12:00:02",
                "IPv4Address": "172.18.0.2/16",
                "IPv6Address": ""
            
        ,
        "Options": ,
        "Labels": 
    
]

进入node1创建topic:

docker exec -it kafka-node1 /bin/bash

进入容器后进入bin目录创建topic并且往里面发布消息

# 进入bin目录
cd /opt/bitnami/kafka/bin/
# 创建topic
./kafka-topics.sh --create --topic demo1 --bootstrap-server node1:9091

如果搭建的没有问题将会出现以下结果表示demo1主题创建成功：

Created topic demo1.

向topic中发送消息:

./kafka-console-producer.sh --topic demo1 --bootstrap-server node1:9091

打开另一个窗口进入node2接收这条消息：

docker exec -it kafka-node2 /bin/bash
cd /opt/bitnami/kafka/bin
kafka-console-consumer.sh --topic demo1 --from-beginning --bootstrap-server node2:9092

至此，集群搭建完毕，如果遇到各种连接问题，那就是ip配置的问题，就是在监听的配置上有问题。

二 用docker compose搭建kafka集群

参考技术A 本地一台机器，想要模拟多台机器搭建kafka集群，可以通过docker来实现。在另一篇 两种方式搭建Zookeeper伪集群：纯手工或使用Docker compose 里，尝试了如何用docker compose来搭建一个zookeeper集群。在此基础上，我们用docker compose搭建一个kafka集群。