kafka安装部署

Posted 2020-11-20 yangxuejun

1、下载kafka_2.11-0.10.1.0.tgz解压

2、配置server.properties

############################# Server Basics #############################
broker.id=1
host.name=emr-header-1

num.network.threads=33
num.io.threads=64

socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600

message.max.bytes=5242880

############################# Log #############################

log.dirs=/mnt/disk1/kafka/logs
log.flush.interval.messages=10000
log.flush.interval.ms=1000
log.retention.hours=48
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000

num.partitions=7
num.recovery.threads.per.data.dir=1

############################# replica #############################
num.replica.fetchers=1
replica.fetch.min.bytes=1
replica.fetch.max.bytes=5242880
replica.fetch.wait.max.ms=1000

default.replication.factor=3
delete.topic.enable=true
############################# Zookeeper #############################

zookeeper.connect=emr-header-1:2181,emr-header-2:2181,emr-header-3:2181
zookeeper.connection.timeout.ms=6000

3、启动

in/kafka-server-start.sh -daemon config/server.properties &