Unbuntu16搭建Kafka环境总结

Posted wanyuan

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Unbuntu16搭建Kafka环境总结相关的知识,希望对你有一定的参考价值。

1.安装Kafka

环境说明

OS:Ubuntu 16.04

Zookeeper:zookeeper 3.4.5

Kafka:kafka_2.11-0.11.0.0

jdk:jdk8(Kafka启动需要使用到jdk)

1)jdk安装配置

本次已经安装,如未安装自行百度

安装完成,在终端输入java -version验证版本

技术图片

2)Zookeeper安装配置

打开终端,依次输入如下命令:

cd /usr/local
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gz

(此步如果提示连接失败,多执行几次该命令即可)

ls

tar -zxvf zookeeper-3.4.5.tar.gz

技术图片

cd zookeeper-3.4.5/conf/

ls

cp zoo_sample.cfg zoo.cfg

vim zoo.cfg

cat zoo.cfg

技术图片

技术图片

cd ~

cd /home

mkdir young

cd young

mkdir zookeeper

cd zookeeper

mkdir data

cd ~

vi /etc/profile

在文件末尾添加如下内容:

export ZOOKEEPER_HOME=/home/young/zookeeper
export PATH=.:$ZOOKEEPER_HOME/bin:$JAVA_HOME/bin:$PATH

技术图片

cd /usr/local/zookeeper-3.4.5/bin

ls

开启服务:./zkServer.sh start

技术图片

关闭服务:./zkServer.sh stop

技术图片

3)Kafka安装配置

cd /usr/local

打开浏览器,链接到https://www.apache.org/dyn/closer.cgi?path=/kafka/0.11.0.0

技术图片

技术图片

将下载的文件复制粘贴到/usr/local目录

tar -zxvf kafka_2.11-0.11.0.0.tgz

cd kafka_2.11-0.11.0.0/config/

ls(圈中部分是需要修改的)

技术图片

配置server.properties:

技术图片

配置zookeeper.properties:

技术图片

配置producer.properties:

技术图片

配置consumer.properties:

技术图片

配置完成后启动kafka

2.连接测试

1)启动zookeeper服务

cd /usr/local/zookeeper-3.4.5/bin

./zkServer.sh start

启动成功页面如下:

技术图片

2)启动kafka服务

新建终端,输入如下命令:

cd /usr/local/kafka_2.11-0.11.0.0/

bin/kafka-server-start.sh config/server.properties

启动成功页面如下:

技术图片

3)创建和查看名为test1的topic

新建终端,输入如下命令

cd /usr/local/kafka_2.11-0.11.0.0/

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test1

bin/kafka-topics.sh --list --zookeeper localhost:2181

技术图片

4)打开producer/consumer服务

新建终端,输入如下命令:

cd /usr/local/kafka_2.11-0.11.0.0/

/kafka_2.11-0.11.0.0# bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test1

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test1 --from-beginning

在生产者终端输入字符,观察消费者终端是否有字符输出,成功页面如下:

技术图片

至此kafka环境搭建成功

以上是关于Unbuntu16搭建Kafka环境总结的主要内容,如果未能解决你的问题,请参考以下文章

Unbuntu16.04搭建ftp服务器

Unbuntu 16.04 英文环境安装中文输入法

Kafka入门实战教程基于Docker搭建Kafka环境

kafka完全分布式搭建

Linux下kafka集群搭建过程记录

KAFKA集群搭建