kafka学习1:kafka安装
Posted 西门吹牛
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了kafka学习1:kafka安装相关的知识,希望对你有一定的参考价值。
一、环境准备
1、jdk
如果不会安装linux下的jdk,参考这篇文章:http://www.cnblogs.com/gudi/p/7812033.html
2、kafka
wget –c http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz
二、安装kafka
解压kafka:tar –zxvf kafka_2.11-1.0.0.tgz /usr/app/kafka
配置环境变量:
vi /etc/profile
作为单机的kafka,我们就已经安装完成了,集群安装,我会在后面的文章中介绍,下面我们来用单机版的kafka来验证我们的安装成果。
三、安装验证:发送简单的消息
1、启动zookeeper
PS:kafka需要zookeeper的支持,如果已经安装了zookeeper,可以先启动zookeeper。
如果没有安装zookeeper,kafka也自带了zookeeper,在kafka的安装目录下执行:
> bin/zookeeper-server-start.sh config/zookeeper.properties
[2017-11-09 16:25:05,679] INFO Reading configuration from: config/zookeeper.properties (org.apache.zookeeper.server.quorum.QuorumPeerConfig)
…
说明zookeeper已经启动了。
2、启动kafka
> bin/kafka-server-start.sh config/server.properties
[2017-11-09 17:01:47,028] INFO Verifying properties (kafka.utils.VerifiableProperties)
[2017-11-09 17:01:47,051] INFO Property socket.send.buffer.bytes is overridden to 1048576 (kafka.utils.VerifiableProperties)
…
说明kafka已经启动了。
3、创建一个topic
--zookeeper:zookeeper地址:端口
--replication-factor : 副本数量
--partitions:分区数量
--topic:主题名称
这里创建了一个名为test的topic,其他的为以前创建的。
PS:这里用到的zookeeper是本的,所以用localhost,同时zookeeper对client端提供服务的端口是2181。
4、启用procedure,发送消息
5、启用consumer,接收消息
PS:在建立联系后,在procedure端发消息,则consumer端可以马上接收到消息。
以上是关于kafka学习1:kafka安装的主要内容,如果未能解决你的问题,请参考以下文章
大数据学习——SparkStreaming整合Kafka完成网站点击流实时统计
学习笔记Kafka—— Kafka安装配置—— Kafka单代理及常用操作