CentOs 6.5安装Kafka集群步骤

Posted _wangjianfeng

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了CentOs 6.5安装Kafka集群步骤相关的知识,希望对你有一定的参考价值。

CentOs 6.5安装Kafka集群步骤

  • 每台机器的环境

    • CentOs 6.5
    • Java 1.7+
    • Zookeeper
  • 三台虚拟机的ip地址为:

    • 192.168.31.224
    • 192.168.31.225
    • 192.168.31.226
  • 安装Scale

Scala下载页面下载最新的包,截止2018年07月03日15:01:04最新版本为

scala-2.12.6.tgz

上传文件到目录/usrl/local/scala-2.12.6.tgz

解压文件

cd /usr/local
tar -zxvf scala-2.12.6.tgz
rm -rf scala-2.12.6.tgz
rm scala-2.12.6 scala

配置环境变量

vi ~/.bashrc
export SCALA_HOME=/usr/local/scala
export PATH=$PATH:$SCALA_HOME/bin
source ~/.bashrc

检查是否安装好scala

scala -version

下载解压kafka

cd /usr/local
wget http://archive.apache.org/dist/kafka/1.1.0/kafka_2.11-1.1.0.tgz
tar -zxvf kafka_2.11-1.1.0.tgz
rm -rf kafka_2.11-1.1.0.tgz
mv kafka_2.11-1.1.0 kafka

配置kafka

vi /usr/local/kafka/config/server.properties

broker.id:配置为依次增长的整数,0,1,2,为集群中的Broker的唯一id
zookeeper.connect=192.168.31.224:2181,192.168.31.225:2181,192.168.31.226:2181

安装slf4j

下载slf4j-1.7.6.zip到/usr/local目录
unzip slf4j-1.7.6.zip
把slf4j-nop-1.7.6.jar复制到kafka的libs目录下

解决kafka unrecognized VM option ‘UseCompressOops’ 问题

vi /usr/local/kafka/bin/kafka-run-class.sh


if [ -z "$KAFKA_JVM_PERFORMANCE_OPTS" ]; then
  KAFKA_JVM_PERFORMANCE_OPTS="-server  -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true"
fi

去掉-XX:+UseCompressedOops即可

3台机器安装好之后,执行以下命令启动kafka

nohup /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties &

检查kafka是否启动成功

jsp

使用基本命令判断kafka是否搭建成功

创建一个top

/usr/local/kafka/bin/kafka-topics.sh --zookeeper 192.168.31.224:2181,192.168.31.225:2181,192.168.31.225:2181 --topic test --replication-factor 1 --partitions 1 --create

创建一个生产者

/usr/local/kafka/bin/kafka-console-producer.sh --broker-list 192.168.31.224:9092,192.168.31.225:9092,192.168.31.225:9092 --topic test

创建一个消费者

/usr/local/kafka/bin/kafka-console-consumer.sh --zookeeper 192.168.31.224:2181,192.168.31.225:2181,192.168.31.226:2181 --topic test --from-beginning

在生产者终端输入内容,查看消费者终端是否能收到信息。

以上是关于CentOs 6.5安装Kafka集群步骤的主要内容,如果未能解决你的问题,请参考以下文章

Hadoop学习笔记-011-CentOS_6.5_64_HA高可用-Zookeeper3.4.5安装Kafka+消息监控KafkaOffsetMonitor

Kafka集群安装(CentOS 7环境下)

Kafka集群部署

centos 6.5 ruby环境安装

CentOS 6.5 搭建Hadoop 1.2.1集群

CentOS 6.5 安装HDFS集群(Hadoop-2.7.3)