Kafka集群安装部署
Posted Tenic
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Kafka集群安装部署相关的知识，希望对你有一定的参考价值。
1 集群安装部署
-
1、下载安装包（http://kafka.apache.org）
kafka_2.11-1.1.0.tgz -
2、规划安装目录
/bigdata/install -
3、上传安装包到服务器中
通过FTP工具上传安装包到node01服务器上 -
4、解压安装包到指定规划目录
tar -zxvf kafka_2.11-1.1.0.tgz -C /bigdata/install -
5、重命名解压目录
mv kafka_2.11-1.1.0 kafka -
6、在hadoop01上修改配置文件
-
进入到kafka安装目录下有一个
config目录，修改配置信息 vi server.properties#指定kafka对应的broker id ，唯一 broker.id=0 #指定数据存放的目录 log.dirs=/bigdata/install/kafka/kafka-logs #指定zk地址 zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181 #指定是否可以删除topic ,默认是false 表示不可以删除 delete.topic.enable=true #指定broker主机名 host.name=hadoop01 -
配置kafka环境变量 sudo vi /etc/profile
export KAFKA_HOME=/bigdata/install/kafka export PATH=$PATH:$KAFKA_HOME/bin
-
-
6、分发kafka安装目录到其他节点
scp -r kafka hadoop02:/bigdata/install scp -r kafka hadoop03:/bigdata/install ## hadoop02/hadoop03上都加上环境变量 export KAFKA_HOME=/bigdata/install/kafka export PATH=$PATH:$KAFKA_HOME/bin -
7、修改hadoop02和hadoop03上的配置
-
hadoop02 上修改配置文件 vi server.properties
#指定kafka对应的broker id ，唯一 broker.id=1 #指定数据存放的目录 log.dirs=/bigdata/install/kafka/kafka-logs #指定zk地址 zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181 #指定是否可以删除topic ,默认是false 表示不可以删除 delete.topic.enable=true #指定broker主机名 host.name=hadoop02 -
hadoop03 上修改配置文件 vi server.properties
#指定kafka对应的broker id ，唯一 broker.id=2 #指定数据存放的目录 log.dirs=/bigdata/install/kafka/kafka-logs #指定zk地址 zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181 #指定是否可以删除topic ,默认是false 表示不可以删除 delete.topic.enable=true #指定broker主机名 host.name=hadoop03
-
-
8、让每台节点的kafka环境变量生效
-
在每台服务器执行命令
source /etc/profile
-
2 kafka集群启动和停止
-
1、启动kafka集群
-
先启动zookeeper集群，然后在所有节点如下执行脚本
nohup kafka-server-start.sh /bigdata/install/kafka/config/server.properties >/dev/null 2>&1 &
-
-
2、停止kafka集群
-
所有节点执行关闭kafka脚本
kafka-server-stop.sh
-
以上是关于Kafka集群安装部署的主要内容，如果未能解决你的问题，请参考以下文章