Unbuntu16搭建Kafka环境总结

Posted 2020-12-10 wanyuan

1.安装Kafka

环境说明

OS：Ubuntu 16.04

Zookeeper：zookeeper 3.4.5

Kafka：kafka_2.11-0.11.0.0

jdk：jdk8(Kafka启动需要使用到jdk)

1)jdk安装配置

本次已经安装，如未安装自行百度

安装完成，在终端输入java -version验证版本

2)Zookeeper安装配置

打开终端，依次输入如下命令：

cd /usr/local
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gz

(此步如果提示连接失败，多执行几次该命令即可)

ls

tar -zxvf zookeeper-3.4.5.tar.gz

cd zookeeper-3.4.5/conf/

ls

cp zoo_sample.cfg zoo.cfg

vim zoo.cfg

cat zoo.cfg

cd ~

cd /home

mkdir young

cd young

mkdir zookeeper

cd zookeeper

mkdir data

cd ~

vi /etc/profile

在文件末尾添加如下内容：

export ZOOKEEPER_HOME=/home/young/zookeeper export PATH=.:$ZOOKEEPER_HOME/bin:$JAVA_HOME/bin:$PATH

cd /usr/local/zookeeper-3.4.5/bin

ls

开启服务：./zkServer.sh start

关闭服务：./zkServer.sh stop

3)Kafka安装配置

cd /usr/local

打开浏览器，链接到https://www.apache.org/dyn/closer.cgi?path=/kafka/0.11.0.0

将下载的文件复制粘贴到/usr/local目录

tar -zxvf kafka_2.11-0.11.0.0.tgz

cd kafka_2.11-0.11.0.0/config/

ls(圈中部分是需要修改的)

配置server.properties：

配置zookeeper.properties：

配置producer.properties：

配置consumer.properties：

配置完成后启动kafka

2.连接测试

1)启动zookeeper服务

cd /usr/local/zookeeper-3.4.5/bin

./zkServer.sh start

启动成功页面如下：

2)启动kafka服务

新建终端，输入如下命令：

cd /usr/local/kafka_2.11-0.11.0.0/

bin/kafka-server-start.sh config/server.properties

启动成功页面如下：

3)创建和查看名为test1的topic

新建终端，输入如下命令

cd /usr/local/kafka_2.11-0.11.0.0/

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test1

bin/kafka-topics.sh --list --zookeeper localhost:2181

4)打开producer/consumer服务

新建终端，输入如下命令：

cd /usr/local/kafka_2.11-0.11.0.0/

/kafka_2.11-0.11.0.0# bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test1

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test1 --from-beginning

在生产者终端输入字符，观察消费者终端是否有字符输出，成功页面如下：

至此kafka环境搭建成功