Kafka集群部署

Posted 2020-06-14

一. 关于kafka

　　Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群机来提供实时的消费。

　　关于Kafka的更多介绍请参考：http://www.infoq.com/cn/articles/apache-kafka/

 

二.准备工作

　　1. 配置各主机IP。将各主机IP配置为静态IP（保证各主机可以正常通信，为避免过多的网络传输，建议在同一网段）

　　2. 修改机器主机名。Kafka集群中的所有主机都需要修改。

　　3. 配置各主机映射。修改hosts文件，加入各主机IP和主机名的映射。

　　4. 开放相应端口。后面文档中配置的端口都需要开放（或者关闭防火墙），root权限。

　　5. 保证Zookeeper集群服务能够正常运行。其实只要Zookeeper集群部署成功，上面的准备工作基本都能做好了。关于Zookeeper的部署请参考：http://www.cnblogs.com/wxisme/p/5178211.html

 

三.安装Kafka

　　1. 下载kafka安装包，访问Kafka官网下载对应版本即可。这里使用的版本为2.9.2-0.8.1.1。

　   2.  使用下面的命令解压安装包

tar -zxvf kafka_2.9.2-0.8.1.1.tgz

　　3. 修改配置文件，简单配置只需要修改/config/server.properties文件即可。

vim config/server.properties

　　需要修改的内容：

　　broker.id(标示当前server在集群中的id，从0开始)；port；host.name(当前的server host name)；zookeeper.connect(连接的zookeeper集群)；log.dirs(log的存储目录，需要提前创建)。

　　示例：

　　4. 把配置好的kafka上传到其他节点上

scp -r kafka node2:/usr/

　　注意，上传之后不要忘了修改broker.id和host.nam等每个节点独有的配置。

四.启动并测试Kafka

　　1.首先启动Zookeeper，之后使用一下命令启动Kafka，启动成功之后会有信息提示。

./bin/kafka-server-start.sh config/server.properties &

　　2.对Kafka进行测试。分别创建topic，producer，consumer，最好是在不同的节点上创建。在producer的控制台上输入信息，观察consumer控制台是否能够接收到。

　　创建topic：

./bin/kafka-topics.sh -zookeeper node1:2181,node2:2181,node3:2181 -topic test -replication-factor 2 -partitions 3 -create

　　查看topic：

./bin/kafka-topics.sh -zookeeper node1:2181,node2:2181,node3:2181 -list

　　创建producer：

./bin/kafka-console-producer.sh -broker-list node1:9092,node2:9092,node3:9092 -topic test

　　创建consumer：

./bin/kafka-console-consumer.sh -zookeeper node1:2181,node2:2181,node3:2181 - from-begining -topic test

　　测试：

　　在producer的控制台输入信息，查看consumer的控制台能否接收到。

producer：

consumer

 

　　经过以上的配置和测试，Kafka已经初步部署好了，接下来可以根据具体的需求配置和操作Kafka。关于Kafka的更多操作和更具体的使用方法请参考官网文档。https://cwiki.apache.org/confluence/display/KAFKA/Index