Kafka安装

Posted 2021-05-24 Shall潇

kafka深入理解：点这里啊

文章目录

• 一、解压缩并安装
• 二、修改配置文件
• • 1、设置broker.id
  • 2、设置监听器端口
  • 3、设置kafka日志目录
  • 4、设置Zookeeper端口
  • 5、设置可以删除topic
  • 6、设置留存时间
• 三、添加环境变量
• 四、启动等相关命令
• 五、高可用安装
• • 1、删除kafka-logs文件夹
  • 2、分发kafka文件夹
  • 3、配置各个机器的server.properties

一、解压缩并安装

官方下载：点这里

二、修改配置文件

vi /conf/server.properties

1、设置broker.id

一台机器一个broker.id，由于我们是伪分布式的，所以只有一个

2、设置监听器端口

3、设置kafka日志目录

4、设置Zookeeper端口

伪分布式的Zookeeper可以只配一个，而Zookeeper集群模式下，可以都写入，用 , 分开

5、设置可以删除topic

6、设置留存时间

kafka默认是保存7天的数据，需要的话可以自己更改，这里就默认

三、添加环境变量

export KAFKA_HOME=/opt/soft/kafka
export PATH=$KAFKA_HOME/bin:$PATH

source 一下

四、启动等相关命令

前提：先启动Zookeeper
启动命令：zkServer.sh start

启动kafka

kafka-server-start.sh /opt/soft/kafka/config/server.properties

后台启动

kafka-server-start.sh -daemon /opt/soft/kafka/config/server.properties
或者
nohup kafka-server-start.sh  /opt/soft/kafka/config/server.properties >kafka.logs 2>&1

关闭kafka

kafka-server-stop.sh

查看kafka队列主题

kafka-topics.sh  --zookeeper 192.168.159.100:2181 --list

创建主题（partitions :分区数，replication-factor：副本数<=broker数）

kafka-topics.sh  --zookeeper 192.168.159.100:2181 --create --topic firstDemo --partitions 1 --replication-factor 1

查看主题详情

kafka-topics.sh  --zookeeper 192.168.159.100:2181 --describe --topic firstDemo

删除队列主题

kafka-topics.sh  --zookeeper 192.168.159.100:2181 --delete --topic 名字

生产消息

kafka-console-producer.sh --topic firstDemo --broker-list 192.168.159.100:9092

消费消息
（from-beginning:从头开始接收）

kafka-console-consumer.sh --topic firstDemo --bootstrap-server 192.168.159.100:9092 --from-beginning

查看队列消息数量

kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 192.168.159.100:9092 --topic firstDemo -time -1 --offsets 1

---

五、高可用安装

前提：安装好上面的伪分布式机器后，才可以进行如下操作

1、删除kafka-logs文件夹

如果用伪分布式的kafka创建过topic的话，最好将这个文件夹删除掉

2、分发kafka文件夹

将kafka文件夹分发给其他机器

scp -r kafka root@hadoop101:$PWD
scp -r kafka root@hadoop103:$PWD

并创建刚刚删除的kafka-logs文件夹

3、配置各个机器的server.properties

1.修改block.id
一台机器对应一个block.id
如果是三台kafka机器，对应的block.id是不同的，根据Zookeeper中的myid,在对应的机器上修改之

2.修改监听器的IP
各个机器就写自己的机器的IP

3、修改Zookeeper连接
将所有的机器的Zookeeper的IP和端口号都写在一起，中间用 , 分割

最后重启Zookeeper和Kafka，就可以了