大数据高可用集群环境安装与配置(10)——安装Kafka高可用集群

Posted AllEmpty

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据高可用集群环境安装与配置(10)——安装Kafka高可用集群相关的知识,希望对你有一定的参考价值。

1. 获取安装包下载链接

访问https://kafka.apache.org/downloads 找到kafka对应版本

需要与服务器安装的scala版本一致(运行spark-shell可以看到当前安装的scala版本)

2. 执行命令下载并安装

cd /usr/local/src/
wget https://www.apache.org/dyn/closer.cgi?path=/kafka/2.2.2/kafka_2.11-2.2.2.tgz
tar -zxvf kafka_2.11-2.2.2.tgz
mv kafka_2.11-2.2.2 /usr/local/kafka
cd /usr/local/kafka/config
mkdir -p /data/logs/kafka

 

3. 修改server.properties配置

vi server.properties

修改下面配置

# 每个kafka服务的broker.id值都需要设置,第一个为0,第二个为1,以此类推
broker.id=0
log.dirs=/data/logs/kafka
# 设置kafka的分区数,这个根据具体情况而定(一般线上设置8个分区比较合适,因为分区不够时,启动再多的kafka客户端,只有设置数量的分区数能连上,其他的都在等待,而设置多一点分区,在实际运行时只启动两个客户端连接,它们也会自动切换读取数据)
num.partitions=2
# 设置kafka数据保留时间(单位:小时)--这里根据各自不同的使用场景设置保留时间
log.retention.hours=72
zookeeper.connect=master:2181,master-backup:2181

 

4. 修改zookeeper.properties配置

vi zookeeper.properties

修改下面配置

dataDir=/usr/local/zookeeper

 

5. 修改服务器系统环境变量

所有服务器都需要按要求修改配置

vi /etc/profile

在尾部添加下面配置

export KAFKA_HOME=/usr/local/kafka
export PATH=$KAFKA_HOME/bin:$PATH

保存退出后,运行命令,让配置马上生效

source /etc/profile

 

6. 将kafka同步到master-backup服务器上

rsync -avz /usr/local/kafka/ master-backup:/usr/local/kafka/

修改server.properties配置

vi server.properties

将broker.id值修改为2

broker.id=2

 

7. 启动kafka服务

在master与master-backup服务器上运行命令,启动kafka服务

kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties

 

8. kafka常用操作命令

# 创建topic
kafka-topics.sh --create --zookeeper master:2181,master-backup:2181 --topic sendTopic --partitions 2 --replication-factor 1

# 查看topic
kafka-topics.sh --list --zookeeper master:2181,master-backup:2181

# 删除topic
kafka-topics.sh --delete --topic sendTopic --zookeeper master:2181,master-backup:2181

# 创建生产者
kafka-console-producer.sh --broker-list master:9092,master-backup:9092 --topic sendTopic

# 创建消费者
kafka-console-consumer.sh --bootstrap-server master:9092,master-backup:9092 --topic sendTopic --from-beginning
# 在所有生产端输入字符,所有消费端都可以接收到

# 查看topic详细信息
kafka-topics.sh --describe --zookeeper master:9092,slave1:9092,slave2:9092

 

版权声明:本文原创发表于 博客园,作者为 AllEmpty 本文欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则视为侵权。

作者博客:http://www.cnblogs.com/EmptyFS/

以上是关于大数据高可用集群环境安装与配置(10)——安装Kafka高可用集群的主要内容,如果未能解决你的问题,请参考以下文章

大数据高可用集群环境安装与配置(07)——安装HBase高可用集群

大数据高可用集群环境安装与配置(09)——安装Spark高可用集群

大数据高可用集群环境安装与配置(05)——安装zookeeper集群

大数据高可用集群环境安装与配置(08)——安装Ganglia监控集群

大数据高可用集群环境安装与配置(04)——安装JAVA运行环境

大数据高可用集群环境安装与配置(02)——配置ntp服务