docker容器搭建kafka集群

Posted 2020-12-28

Docker搭建kafka集群

?  需求说明：

公司目前有三个环境，生产环境，测试和演示环境，再包括开发人员还有开发的环境，服务器上造成了一定的资源浪费，因为环境需要依赖zookeeper和kafka，redis这些服务，只要搭一个环境，所有东西都要重新搭一遍，所以搭建kafka集群，让大部分环境都连接一个集群，把单个的服务变成公共的，稳定并易于管理

?  Kafka集群管理和状态保存是通过zookeeper来实现的，要先部署zk集群

?  环境说明：

centos系统安装docker，通过docker启动容器搭建集群

第1章 部署zookeeper集群

利用dockerfile制作zookeeper镜像

mkdir /opt/docker-file/zookeeper –p

mkdir /opt/docker-file/kafka –p

编写dockerfile文件

[[email protected] zookeeper]# cat Dockerfile 

#at 2018-08-03

FROM centos-ssh

MAINTAINER byjiang

 

# copy install package files from localhost.

ADD ./zookeeper-3.3.6.tar.gz /opt/

 

# Create zookeeper data and log directories

RUN mkdir -p /opt/zkcluster/zkconf &&

    mv /opt/zookeeper-3.3.6 /opt/zkcluster/zookeeper &&

    yum install -y java-1.7.0-openjdk*

CMD /usr/sbin/init

[[email protected] zookeeper]# pwd

/opt/docker-file/zookeeper

[[email protected] zookeeper]# ll

total 11564

-rw-r--r-- 1 root root      332 Aug 4 02:05 Dockerfile

-rw-r--r-- 1 root root 11833706 Oct 31  2014 zookeeper-3.3.6.tar.gz

[[email protected] zookeeper]# docker build -t zookeeper-3.3.6 .

查看镜像是否创建成功

[[email protected] zookeeper]# docker images

REPOSITORY               TAG                 IMAGE ID            CREATED             SIZE

zookeeper-3.3.6          latest              a176ce9ee8be        4 minutes ago       665MB

 

启动容器：

docker run -d -p 12888:2888 -d -p 13888:3888 -d -p 12181:12181 --privileged=true -v /home/data/zookeeper/:/opt/zkcluster/zkconf/ --name zkNode-1 zookeeper-3.3.6

docker run -d -p 12889:2889 -d -p 13889:3889 -d -p 12182:12182 --privileged=true -v /home/data/zookeeper/:/opt/zkcluster/zkconf/ --name zkNode-2 zookeeper-3.3.6

docker run -d -p 12890:2890 -d -p 13890:3890 --privileged=true -v /home/data/zookeeper/:/opt/zkcluster/zkconf/ --name zkNode-3 zookeeper-3.3.6

查看容器运行是否成功：

docker ps -a

CONTAINER ID       IMAGE               COMMAND                  CREATED             STATUS              PORTS                                             NAMES

7c918ef10214       zookeeper-3.3.6     "/bin/sh -c /usr/sbi…"   7 seconds ago       Up 5 seconds        0.0.0.0:12890->2890/tcp, 0.0.0.0:13890->3890/tcp   zkNode-3

d46b3dde46b2       zookeeper-3.3.6     "/bin/sh -c /usr/sbi…"   16 seconds ago      Up 13 seconds       0.0.0.0:12889->2889/tcp, 0.0.0.0:13889->3889/tcp   zkNode-2

e721b33946e1       zookeeper-3.3.6     "/bin/sh -c /usr/sbi…"   2 minutes ago       Up 2 minutes        0.0.0.0:12888->2888/tcp, 0.0.0.0:13888->3888/tcp   zkNode-1

修改zookeeper配置文件

docker exec -it zkNode-1 /bin/sh

sh-4.2# cd /opt/zkcluster/zookeeper/

sh-4.2# mkdir zkdata 

sh-4.2# mkdir zkdatalog

sh-4.2# cp conf/zoo_sample.cfg conf/zoo.cfg

sh-4.2# vi /opt/zkcluster/zookeeper/conf/zoo.cfg

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/opt/zookeeper/zkdata

dataLogDir=/opt/zookeeper/zkdatalog

clientPort=12181

server.1=172.17.0.2:2888:3888

server.2=172.17.0.3:2889:3889

server.3=172.17.0.4:2890:3890

#如果不知道容器的ip可以这样查看，虽然有点笨

sh-4.2# cat /etc/hosts

127.0.0.1      localhost

172.17.0.2     e721b33946e1

#server.1 这个1是服务器的标识也可以是其他的数字，表示这个是第几号服务器，用来标识服务器，这个标识要写到快照目录下面myid文件里

#172.17.0.x为集群里的IP地址，第一个端口是master和slave之间的通信端口，默认是2888，第二个端口是leader选举的端口，集群刚启动的时候选举或者leader挂掉之后进行新的选举的端口默认是3888

每个节点分别创建myid文件

echo "1" > /opt/zookeeper/zkdata/myid

echo "2" > /opt/zookeeper/zkdata/myid

echo "3" > /opt/zookeeper/zkdata/myid

目录说明：

sh-4.2# ls

zkconf zookeeper

sh-4.2# pwd

/opt/zkcluster

zkconf：用来存放脚本等文件，在启动容器时使用-v挂载宿主机目录

zookeeper：即zookeeper的项目目录

zookeeper下有两个手动创建的目录zkdata和zkdatalog

zkdata      #存放快照日志

zkdatalog   #存放事物日志

配置文件说明：

#tickTime：

这个时间是作为Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个tickTime 时间就会发送一个心跳。

#initLimit：

这个配置项是用来配置Zookeeper 接受客户端（这里所说的客户端不是用户连接Zookeeper 服务器的客户端，而是Zookeeper 服务器集群中连接到Leader 的Follower 服务器）初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过5个心跳的时间（也就是tickTime）长度后Zookeeper服务器还没有收到客户端的返回信息，那么表明这个客户端连接失败。总的时间长度就是5*2000=10 秒

#syncLimit：

这个配置项标识Leader与Follower 之间发送消息，请求和应答时间长度，最长不能超过多少个tickTime 的时间长度，总的时间长度就是5*2000=10秒

#dataDir：

快照日志的存储路径

#dataLogDir：

事物日志的存储路径，如果不配置这个那么事物日志会默认存储到dataDir制定的目录，这样会严重影响zk的性能，当zk吞吐量较大的时候，产生的事物日志、快照日志太多

#clientPort：

这个端口就是客户端连接Zookeeper 服务器的端口，Zookeeper会监听这个端口，接受客户端的访问请求。修改他的端口改大点

启动zookeeper服务，每个zk节点均为相同操作：

进入zk的bin目录下,启动zk服务

sh-4.2# ./zkServer.sh start

说明：由于zk版本和部署方式，在启动的时候报错比较多，不过查看zookeeper.out的日志文件都可以解决的

查看每个节点zk的状态

zkNode-1 节点：

sh-4.2# ./zkServer.sh status

JMX enabled by default

Using config: /opt/zkcluster/zookeeper/bin/../conf/zoo.cfg

Mode: follower

zkNode-2 节点：

sh-4.2# ./zkServer.sh status

JMX enabled by default

Using config: /opt/zkcluster/zookeeper/bin/../conf/zoo.cfg

Mode: leader

zkNode-3 节点：

sh-4.2# ./zkServer.sh status

JMX enabled by default

Using config: /opt/zkcluster/zookeeper/bin/../conf/zoo.cfg

Mode: follower

容器化的zk集群部署成功

第2章 下面开始部署kafka集群：

2.1利用dockerfile制作镜像

上传软件包并编写dockerfile文件

cd /opt/docker-file/kafka/

ls

Dockerfile kafka_2.11-1.0.1.tgz

cat Dockerfile 

#at 2018-08-03

FROM centos-ssh

MAINTAINER byjiang

 

# copy install package files from localhost.

ADD ./kafka_2.11-1.0.1.tgz /opt/

 

# Create kafka and log directories

RUN mkdir -p /opt/kafkacluster/kafkalog &&

    mkdir -p /opt/kafkacluster/kafkaconf &&

    mv /opt/kafka_2.11-1.0.1 /opt/kafkacluster/kafka &&

    yum install -y java-1.7.0-openjdk*

CMD /usr/sbin/init

构建kafka镜像

docker build -t kafka-2.11 .

2.2启动三个kafka节点：

docker run -d -p 19092:9092 -v /home/data/kafka:/opt/kafkacluster/kafkaconf --name kafkaNode-1 kafka:2.11

docker run -d -p 19093:9093 -v /home/data/kafka:/opt/kafkacluster/kafkaconf --name kafkaNode-2 kafka:2.11

docker run -d -p 19094:9094 -v /home/data/kafka:/opt/kafkacluster/kafkaconf --name kafkaNode-3 kafka:2.11

2.3修改kafka配置文件

修改server.properties文件，同样，三个节点相同操作,注意修改端口和ip地址

cd /opt/kafkacluster/kafka/config/

vi server.properties

broker.id=1

host.name=172.17.0.5

port=9092

log.dirs=/opt/kafkacluster/kafkalog

zookeeper.connect=172.17.0.2:2181,172.17.0.3:2181,172.17.0.4:2181

message.max.byte=5242880

default.replication.factor=2

replica.fetch.max.bytes=5242880

配置文件说明：

broker.id=0  #当前机器在集群中的唯一标识，和zookeeper的myid性质一样

port=9092 #当前kafka对外提供服务的端口默认是9092

host.name=172.17.0.13 #这个参数默认是关闭的，在0.8.1有个bug，DNS解析问题，失败率的问题。

num.network.threads=3 #这个是borker进行网络处理的线程数

num.io.threads=8 #这个是borker进行I/O处理的线程数

log.dirs=/opt/kafkacluster/kafkalog/ #消息存放的目录，这个目录可以配置为“，”逗号分割的表达式，上面的num.io.threads要大于这个目录的个数这个目录，如果配置多个目录，新创建的topic他把消息持久化的地方是，当前以逗号分割的目录中，那个分区数最少就放那一个

socket.send.buffer.bytes=102400 #发送缓冲区buffer大小，数据不是一下子就发送的，先回存储到缓冲区了到达一定的大小后在发送，能提高性能

socket.receive.buffer.bytes=102400 #kafka接收缓冲区大小，当数据到达一定大小后在序列化到磁盘

socket.request.max.bytes=104857600 #这个参数是向kafka请求消息或者向kafka发送消息的请请求的最大数，这个值不能超过java的堆栈大小

num.partitions=1 #默认的分区数，一个topic默认1个分区数

log.retention.hours=168 #默认消息的最大持久化时间，168小时，7天

message.max.byte=5242880  #消息保存的最大值5M

default.replication.factor=2  #kafka保存消息的副本数，如果一个副本失效了，另一个还可以继续提供服务

replica.fetch.max.bytes=5242880  #取消息的最大直接数

log.segment.bytes=1073741824 #这个参数是：因为kafka的消息是以追加的形式落地到文件，当超过这个值的时候，kafka会新起一个文件

log.retention.check.interval.ms=300000 #每隔300000毫秒去检查上面配置的log失效时间（log.retention.hours=168 ），到目录查看是否有过期的消息如果有，删除

log.cleaner.enable=false #是否启用log压缩，一般不用启用，启用的话可以提高性能

zookeeper.connect=192.168.7.100:12181,192.168.7.101:12181,192.168.7.107:1218 #设置zookeeper的连接端口

启动kafka服务：

cd /opt/kafkacluster/kafka

./bin/kafka-server-start.sh -daemon ./config/server.properties

测试kafka：

在任意kafka节点进行操作：

./bin/kafka-topics.sh --create --zookeeper 172.17.0.3:12181 --replication-factor 1 --partitions 1 --topic SMSMessage

这里的zk节点也可以是三个zk节点的任意节点，创建成功后，在换一个zk节点查看主题：

./bin/kafka-topics.sh --list --zookeeper 172.17.0.2:12181                                                           

IMMessage

SMSMessage

UserRegister

VerifyCode

pushMsg

./bin/kafka-topics.sh --list --zookeeper 172.17.0.4:12181 

IMMessage

SMSMessage

UserRegister

VerifyCode

pushMsg

这样我的kafka集群主题就创建成功了