Spark编程--Kafka安装与配置 (Kafka版本 kafka_2.11_2.2.1)

Posted 2021-03-05 conquorer

1.安装scala     2.11.8

2.解压下载包  　　

cd ~/下载
sudo tar -zxf kafka_2.11-0.10.1.0.tgz -C ~/app
cd ~/app
sudo mv kafka_2.11-0.10.1.0/ ./kafka
sudo chown -R hadoop ./kafka

3.测试简单实例

# 进入kafka所在的目录
cd ~/app/kafka

bin/zookeeper-server-start.sh config/zookeeper.properties

命令执行后不会返回Shell命令输入状态,zookeeper就会按照默认的配置文件启动服务,请千万不要关闭当前终端.启动新的终端，输入如下命令：

cd ~/app/kafka
bin/kafka-server-start.sh config/server.properties

 创建topic

bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic dblab

查看topic

bin/kafka-topics.sh --list --bootstrap-server localhost:9092

 开启两个终端，分别运行以下两行命令

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic dblab

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic dblab --from-beginning