学习笔记Kafka—— Kafka安装配置—— Kafka多代理配置及常用操作

Posted 2021-11-23 别呀

一、环境准备

• Centos7， 1 CPU ， 2G Memory ，20G Disk ， Virtual System
• Hosts ： node110, node111 , node112
• 全部配置JDK
• 配置 Zookeeper集群

---

1.1、Linux环境准备

1. 克隆node110 到node111, node112
2. 修改机器名和IP配置
   （有需要可以参考我这篇博客：Hadoop集群部署模式、配置固定IP）

---

1.2、Zookeeper配置

1. 修改zoo.cfg 配置文件(在zookeeper安装的conf目录下)
   node110：（node111、node112一样都要改）
   

2. 修改myid 配置文件(进入我们建的/opt/apache-zookeeper-3.5.9-bin/zookeeper_data下)
   node110结点的值：1
   node111结点的值：2
   node112结点的值：3

3. 启动
   (分别启动三个结点上的zookeeper)
   
   
   
   启动成功(三个结点上都有)
   
   然后我们执行./zkServer.sh status，发现最新启动为leader其他两个为flower
   (如果出现：Error contacting service. It is probably not running.可能就是你防火墙没关)
   
   
   

4. 验证是集群
   node111(./zkCli.sh -server node110:2181):
   
   node112(./zkCli.sh -server node111:2181):
   

---

1.3、Kafka配置

1. 修改server.properties 配置文件
   node110：
   
   
   node111：
   
   
   node112：
   
   

2. 清空data 目录
   (进入kafka安装目录下)

rm -rf kafka/*

(所有结点都要，这里就演示一个)

4. 启动
   分别启动这三个结点的kafka，然后我们可以通过zookeeper 的客户端查看：
   

---

二、Kafka常用操作

2.1、Kafka Topcis

创建Topic (2 partitions & 2 replication-factor)
(2个分区、2个复制因子)

bin/kafka-topic.sh --bootstrap-server node110:9092 --partitions integer --replication-factor integer --topic topic-name

(2 partitions & 3 replication-factor)

(3 partitions & 3 replication-factor)

---

2.2、Kafka Producer && Consumer

1、Producer生产Topic

./kafka-console-producer.sh --broker-list node100:9092,node101:9092,node102:9092 --topic test_02_02

2、Consumer读取Topic

./kafka-console-consumer.sh --bootstrap-server node100:9092 --topic test_02_02 --partition 0 --from-beginning
./kafka-console-consumer.sh --bootstrap-server node100:9092 --topic test_02_02 --partition 1 --from-beginning

./kafka-console-consumer.sh --bootstrap-server node100:9092 --topic test_02_02  --from-beginning