kafka集群安装

Posted ringwu

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了kafka集群安装相关的知识,希望对你有一定的参考价值。

本教程主要说明kafka0.10.2.1集群的安装;hdp-02,hdp-03,hdp-04是我集群节点的名称,修改配置文件,请根据自身的节点名称进行修改。

基本概念

Broker : 安装Kafka服务的那台集群就是一个broker(broker的id要全局唯一)

Producer :消息的生产者,负责将数据写入到broker中(push)

Consumer:消息的消费者,负责从kafka中读取数据(pull),老版本的消费者需要依赖zk,新版本的不需要

Topic: 主题,相当于是数据的一个分类,不同topic存放不同的数据

Consumer Group: 消费者组,一个topic可以有多个消费者同时消费,多个消费者如果在一个消费者组中,那么他们不能重复消费数据

安装步骤

1.准备三台及以上的linux服务器。

2.安装zookeeper集群,并启动,请参照博文:https://www.cnblogs.com/RingWu/p/10079420.html

3.下载kafka_2.11-0.10.2.1的安装包并解压,这里的2.11指的是kafka对应scala的版本是2.11

技术分享图片

4.修改配置文件 config/server.properties
broker.id=0
host.name=hdp-02
log.dirs=/usr/local/kafka_2.11-0.10.2.1/data
zookeeper.connect=hdp-02:2181,hdp-03:2181,hdp-04:2181

技术分享图片

5.将配置好的kafka拷贝到其他机器上

scp -r /usr/local/kafka_2.11-0.10.2.1/ hdp-03:/usr/local/

scp -r /usr/local/kafka_2.11-0.10.2.1/ hdp-04:/usr/local/

6.修改hdp-03,hdp-04的broker.id和host.name
7.使用

启动kafka

在每台机器上运行如下指令

/usr/local/kafka_2.11-0.10.2.1/bin/kafka-server-start.sh -daemon /usr/local/kafka_2.11-0.10.2.1/config/server.properties

可以使用jps指令查看kafka是否启动成功

技术分享图片

停止kafka

/usr/local/kafka_2.11-0.10.2.1/bin/kafka-server-stop.sh

创建topic

/usr/local/kafka_2.11-0.10.2.1/bin/kafka-topics.sh --create --zookeeper hdp-02:2181,hdp-03:2181,hdp-04:2181 --replication-factor 3 --partitions 3 --topic my-topic

列出所有topic

/usr/local/kafka_2.11-0.10.2.1/bin/kafka-topics.sh --list --zookeeper hdp-02:2181,hdp-03:2181,hdp-04:2181

查看某个topic信息

/usr/local/kafka_2.11-0.10.2.1/bin/kafka-topics.sh --describe --zookeeper hdp-02:2181,hdp-03:2181,hdp-04:2181 --topic my-topic

启动一个命令行的生产者

/usr/local/kafka_2.11-0.10.2.1/bin/kafka-console-producer.sh --broker-list hdp-02:9092,hdp-03:9092,hdp-04:9092 --topic my-topic

启动一个命令行的消费者

/usr/local/kafka_2.11-0.10.2.1/bin/kafka-console-consumer.sh --zookeeper hdp-02:2181,hdp-03:2181,hdp-04:2181 --topic my-topic --from-beginning

消费者连接到borker的地址

/usr/local/kafka_2.11-0.10.2.1/bin/kafka-console-consumer.sh --bootstrap-server hdp-02:9092,hdp-03:9092,hdp-04:9092 --topic my-topic --from-beginning 

以上是关于kafka集群安装的主要内容,如果未能解决你的问题,请参考以下文章

kafka集群安装

kafka集群安装

Kafka基础——集群搭建

大数据高可用集群环境安装与配置(10)——安装Kafka高可用集群

Linux安装kafka集群

安装Kafka集群