kafka学习1:kafka安装

Posted 西门吹牛

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了kafka学习1:kafka安装相关的知识,希望对你有一定的参考价值。

一、环境准备

      1、jdk

      如果不会安装linux下的jdk,参考这篇文章:http://www.cnblogs.com/gudi/p/7812033.html

      2、kafka

      wget –c http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz

二、安装kafka

      解压kafka:tar –zxvf kafka_2.11-1.0.0.tgz /usr/app/kafka

      配置环境变量:

      vi /etc/profile

      作为单机的kafka,我们就已经安装完成了,集群安装,我会在后面的文章中介绍,下面我们来用单机版的kafka来验证我们的安装成果。

三、安装验证:发送简单的消息

      1、启动zookeeper

      PS:kafka需要zookeeper的支持,如果已经安装了zookeeper,可以先启动zookeeper。

      如果没有安装zookeeper,kafka也自带了zookeeper,在kafka的安装目录下执行:

  > bin/zookeeper-server-start.sh config/zookeeper.properties

         [2017-11-09 16:25:05,679] INFO Reading configuration from: config/zookeeper.properties (org.apache.zookeeper.server.quorum.QuorumPeerConfig)

         …

      说明zookeeper已经启动了。

      2、启动kafka

  > bin/kafka-server-start.sh config/server.properties

         [2017-11-09 17:01:47,028] INFO Verifying properties (kafka.utils.VerifiableProperties)

         [2017-11-09 17:01:47,051] INFO Property socket.send.buffer.bytes is overridden to 1048576 (kafka.utils.VerifiableProperties)

         …

      说明kafka已经启动了。

      3、创建一个topic

      

       --zookeeper:zookeeper地址:端口

      --replication-factor : 副本数量

      --partitions:分区数量

      --topic:主题名称

      这里创建了一个名为test的topic,其他的为以前创建的。

      PS:这里用到的zookeeper是本的,所以用localhost,同时zookeeper对client端提供服务的端口是2181。

      4、启用procedure,发送消息

       

      5、启用consumer,接收消息

       

      PS:在建立联系后,在procedure端发消息,则consumer端可以马上接收到消息。

以上是关于kafka学习1:kafka安装的主要内容,如果未能解决你的问题,请参考以下文章

大数据学习——SparkStreaming整合Kafka完成网站点击流实时统计

学习笔记Kafka—— Kafka安装配置—— Kafka单代理及常用操作

学习笔记Kafka—— Kafka安装配置—— Kafka单代理及常用操作

kafka学习(一安装)

Kafka的入门及安装使用

Kafka学习篇1:Docker安装Kafka(单机默认参数版,依赖于Zookeeper)