第一步:下载 kafka_2.11-0.8.2.1.tgz,tar -xzvf解压到安装目录,本人为~/kit,下载zookeeper-3.3.6.tar.gz,同样解压到~/kit目录
第二步: 修改zookeeper配置文件,cp zoo_sample.cfg zoo.cfg ,并配置数据目录和日志目录,如下
dataDir=~/kit/zookeeper-3.3.6/data
dataLogDir=~/kit/zookeeper-3.3.6/log
然后创建对应的目录
第三步: 修改kafka配置文件 zookeeper.properties server.properties
zookeeper.properties修改如下:
dataDir=/home/hadoop/kit/kafka2.11/zookeeper/data
server.properties修改如下:
broker.id=1
host.name=0.0.0.0
advertised.host.name=47.100.2.197
log.dirs=/home/hadoop/kit/kafka2.11/log
num.partitions=1
offsets.topic.replication.factor=1
default.replication.factor=1
第四步: 启动zookeeper:bin/zookeeper-server-start.sh config/zookeeper.properties
启动kafka:bin/kafka-server-start.sh config/server.properties
注意:
kafka版本为2.11-0.8.2.1,若使用python客户端,需指定apiversion
KafkaProducer(bootstrap_servers=[‘47.100.2.197:9092‘],api_version=(0,8,2))
maven对应客户端也必须指定版本
producer端提交数据,comsumer端消费数据