kafka安装教程

Posted 2020-10-12

kafka需要zookeeper才能启动和运行，首先参考“zookeeper安装教程”，安装单节点/伪集群/集群都没有什么影响，后边都是把所有地址填上去就用起来了。

 

1.下载

下载地址：http://kafka.apache.org/downloads

以键头所指版本为例

 

2.安装

下载的版本已经编译，直接解压到想要的目录就算安装好了

tar -zxf kafka_2.11-0.11.0.1.tgz -C /usr/myapp

 

3.配置单节点

cd /usr/myapp/kafka_2.11 #进入kafka主目录
mkdir logs    #创建logs目录用于存放日志
cd config       #进入配置文件所在目录
mv server.properties server.properties.bak #将原配置文件移走

cat > server.properties << EOF
broker.id=1
listeners=PLAINTEXT://192.168.220.128:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/usr/myapp/kafka_2.11/logs
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=192.168.220.128:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0
EOF

上边配置的server.properties的内容基本都是原server.properties的默认配置，到自己安装时主要修改：

broker.id--broker的id；修改为任意自己想要的数值（和zookeeper中的id类似的）

listeners--监听址址；修改为kafka要监听的地址

log.dirs--日志文件存放目录；修改为自己要存放日志的目录

zookeeper.connect--zookeeper监听地址；修改为自己的zookeeper的监听地址，如果是集群所有地址全写上用逗号（半角）隔开即可

 

4.启动和停止

启动前要配置JAVA_HOME，不然无法启动（和tomcat一样虽然输出started了但并有有启，可查看kafkaServer.out）

启动：

./kafka-server-start.sh -daemon ../config/server.properties

停止：

./kafka-server-stop.sh

查看是否有kafka进程：

jps

 

5.搭建集群

将上边安装配置好的kafka打包传到其创机器上，然后解压；各机修改server.properties中的broker.id为不同的值，listeners修改为本各机IP然后分别启动即可。

（这没有redis那样的创建集群的动作，也没有zookeeper那样的指定集群成员的配置，感觉就是分别装了几个单节点，不知道和单节点有什么区别）

 

6.测试是否可用

创建topics：

./kafka-topics.sh --create --zookeeper 192.168.220.128:2181 --replication-factor 2 --partitions 1 --topic test_topics

在一台上创建生产者：

./kafka-console-producer.sh --broker-list 192.168.220.128:9092 --topic test_topics

在另一台上创建消费者：

./kafka-console-consumer.sh --zookeeper 192.168.220.128:2181 --topic test_topics --from-beginning

正常的话在生产者中输入的内容，会在消费者端输出。

 

参考：

http://www.cnblogs.com/wangyangliuping/p/5546465.html

http://www.cnblogs.com/luotianshuai/p/5206662.html