kafka单点集群配置

Posted -luoke

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了kafka单点集群配置相关的知识,希望对你有一定的参考价值。

  1. 下载地址

https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/

?

kafka同样依赖Java环境,由于和zookeeper在相同的机器上,之前已经安装过了,所有可以直接跳过Java环境安装

?

  1. 参考文档

https://www.cnblogs.com/panwenbin-logs/p/10369402.html

?

  1. 安装环境

系统版本

centos7.7

kafka版本

kafka_2.12-2.4.0.tgz

zookeeper版本

apache-zookeeper-3.5.6-bin.tar.gz

jdk版本

openjdk1.8

?

  1. kafka单点安装

  2. 下载kafka

wget https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.4.0/kafka_2.12-2.4.0.tgz

tar xf kafka_2.12-2.4.0.tgz

mv kafka_2.12-2.4.0 /usr/local/kafka_2.12-2.4.0

cd /usr/local/

ln -s /usr/local/kafka_2.12-2.4.0 kafka

?

  1. 配置环境变量

echo ‘export PATH=$PATH:/usr/local/kafka/bin/‘ >>/etc/profile

source /etc/profile

?

  1. 更改配置文件

cd kafka/config/

mkdir /usr/local/kafka/data

cp server.properties server.properties-bak

vim server.properties

主要需要修改

broker.id

listeners

log.dirs

zookeeper.connect

broker.id=1 #唯一

listeners=PLAINTEXT://172.16.150.154:9092 #修改为本机地址

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

log.dirs=/usr/local/kafka/data/kafka-logs #数据目录,kafka-logs会自动采集

num.partitions=3

num.recovery.threads.per.data.dir=1

offsets.topic.replication.factor=1

transaction.state.log.replication.factor=1

transaction.state.log.min.isr=1

log.retention.hours=168

log.segment.bytes=1073741824

log.retention.check.interval.ms=300000

zookeeper.connect=172.26.103.56:2181,172.26.103.57:2181,172.26.103.58:2181 #zokeeper连接地址,以","为分割,如果是单点就写一个就行

zookeeper.connection.timeout.ms=6000

group.initial.rebalance.delay.ms=0

?

  1. 启动kafka服务

kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties #后台运行

ss -lntup|grep 9092

jps

?

?

  1. 验证服务是否正常

登录zookeeper验证

cd /usr/local/zookeeper/bin

登录zookeeper服务端

./zkCli.sh -server 127.0.0.1:2181

查看节点配置文件server.properties的 broker id的信息

get /brokers/ids/1

?

?

?

?

?

?

?

  1. kafka集群配置

  2. 安装之前首先应安装zookeeper

?

  1. 按照单点部署各节点

?

  1. 配置环境变量

echo ‘export PATH=$PATH:/usr/local/kafka/bin/‘ >>/etc/profile

?

  1. 更改配置文件(有几个节点就更改几个)

cd kafka/config/

cp server.properties server.properties-bak

vim server.properties

broker.id=1 #唯一

listeners=PLAINTEXT://172.16.150.154:9092 #修改为本机地址

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

log.dirs=/usr/local/kafka/data/kafka-logs #数据目录,kafka-logs会自动采集

num.partitions=3

num.recovery.threads.per.data.dir=1

offsets.topic.replication.factor=1

transaction.state.log.replication.factor=1

transaction.state.log.min.isr=1

log.retention.hours=168

log.segment.bytes=1073741824

log.retention.check.interval.ms=300000

zookeeper.connect=172.26.103.56:2181,172.26.103.57:2181,172.26.103.58:2181 # zokeeper连接地址,以","为分割,如果是单点就写一个就行

zookeeper.connection.timeout.ms=6000

group.initial.rebalance.delay.ms=0

?

其他节点配置相同,除以下内容

broker.id=1 #唯一

listeners=PLAINTEXT://172.16.150.154:9092 #修改为本机地址

?

  1. 启动kafka服务

cd /usr/local/kafka_2.12-2.4.0/bin

./kafka-server-start.sh -daemon ../config/server.properties #后台运行

?

?

  1. 验证服务是否正常

登录zookeeper验证

cd /usr/local/zookeeper/bin

登录zookeeper服务端

./zkCli.sh -server 127.0.0.1:2181

查看节点配置文件server.properties的 broker id的信息

get /brokers/ids/3

?

  1. 创建topic验证

#154上创建一个生产者

[root@node01 ~]# cd /usr/local/kafka/bin/

[root@node01 bin]# ./kafka-topics.sh --create --zookeeper 172.16.150.154:2181 --replication-factor 1 --partitions 1 --topic Test

Created topic "Test".

[root@node01 bin]# ./kafka-console-producer.sh --broker-list 172.16.150.154:9092 --topic Test

#其他服务器上创建一个消费者

[root@node02 ~]# cd /usr/local/kafka/bin/

[root@node02 bin]# ./kafka-console-consumer.sh --bootstrap-server 172.16.150.155:9092 --topic Test --from-beginning

#启动成功后,在154上输入任意内容,在另一台机器上查看是否会同步显示

?

?

  1. zookeeper及kafka监控

zookeeper及kafka监控工具

1.zookeeper监控工具(没有安装过,有需要请参考官方文档)

zookeeper监控工具地址:https://github.com/soabase/exhibitor

2.kafka监控工具

1)KafkaOffsetMonitor

2)kafka-manager

?

?

?

?

?

?

?

?

?

?

?

?

以上是关于kafka单点集群配置的主要内容,如果未能解决你的问题,请参考以下文章

Kafka压测— 搞垮kafka的方法(转)

kafka集群配置

redis单点主从集群cluster配置搭建与使用

Kafka集群数据同步至另一个Kafka集群

Kafka单节点及集群配置安装

Kafka集群配置