集群搭建

Posted 2020-12-24 zy-sai

条件：
node01 node02 node03

【1】上传压缩包到node01
【2】解压压缩包
tar zxvf kafka_2.10-0.8.2.2.tgz
【3】移动解压后的包到/opt/sxt下
mv kafka_2.10-0.8.2.2 /opt/sxt/
【4】修改配置
vi /opt/sxt/kafka_2.10-0.8.2.2/config/server.properties
broker.id=0 //节点编号：（不同节点按0,1,2,3整数来配置）
log.dirs=/kafka-logs //真实数据存储位置：
zookeeper.connect=node02:2181,node03:2181,node04:2181 //zookeeper的节点：
【5】分发
scp -r ./kafka_2.10-0.8.2.2/ [email protected]:`pwd`
scp -r ./kafka_2.10-0.8.2.2/ [email protected]:`pwd`
【6】修改node02,node03中的broker.id分别为：
broker.id=1
broker.id=2
【7】启动zookeeper集群
【8】启动Kafka集群：
方法一：在三台节点都要进行一下操作
cd /opt/sxt/kafka_2.10-0.8.2.2/bin
./kafka-server-start.sh ../config/server.properties
方法二：三台节点上编写脚本或者分发
cd /opt/sxt/kafka_2.10-0.8.2.2
vi startkafka.sh
nohup bin/kafka-server-start.sh config/server.properties > kafka.log 2>&1 & //脚本内容
chmod 755 startkafka.sh //修改权限
./startkafka.sh //启动
<--------------------------------------------以上集群搭建完成----------------------------------------------->
相关命令：
【1】查看消息
cd /opt/sxt/kafka_2.10-0.8.2.2/bin
./kafka-topics.sh --zookeeper node02:2181,node03:2181,node04:2181 --list //查看Kafka中的topic列表
./kafka-topics.sh --zookeeper node02:2181,node03:2181,node04:2181 --create --topic topic0226 --partition 3 --replication 3 //创建一个topic
./kafka-topics.sh --zookeeper node02:2181,node03:2181,node04:2181 --describe //集群中topic的描述
./kafka-topics.sh --zookeeper node02:2181,node03:2181,node04:2181 --describe --topic topic0226 //查看指定的topic描述
用一台节点控制台来当kafka的生产者：
./kafka-console-producer.sh --topic topic0226 --broker-list node01:9092,node02:9092,node03:9092
用另一台节点控制台来当kafka的消费者：
./kafka-console-consumer.sh --zookeeper node02:2181,node03:2181,node03:2181 --topic topic0226

【2】在zookeeper中查看Kafka的原数据信息
cd /opt/sxt/zookeeper-3.4.6/bin //进入文件路径
./zkCli.sh //启动客户端
ls / //查看zookeeper下的原数据信息列表
get /brokers/topics/topic0226/partitions/1/state //查看brokers=1的原数据信息
【3】在zookeeper查看消费信息

【注意】：当Kafka数据没有给定key时，那么默认为null，那么只会向一个partition中写。如果有key会基于哈希向partition中生产数据