Kafka的安装及与Spring Boot的集成

Posted 2021-01-23 streamliu

• 安装JDK

1. 下载jdk-8u202-ea-bin-b03-linux-x64-07_nov_2018.tar.gz
2. 解压
3. 配置
4. $ vi /etc/profile，在最后加入下面两行
   　　export JAVA_HOME=/usr/local/bigdata/jdk1.8.0_202
   　　export PATH=$JAVA_HOME/bin:$PATH
5. 重新登录执行 java，验证JDK配置成功

• 安装Kafka

1. 下载kafka_2.11-1.0.2.tgz，这里主要1.0.2这个Kafka Server的 版本需要和客户端Spring-Kafka的版本对应，具体对应关系请看https://spring.io/projects/spring-kafka
2. 解压 tar -xzvf kafka_2.11-1.0.2.tgz
3. 配置 vi config/server.properties，host.name 非常非常关键，否则你讲无法远程连接到Kafka
   # Hostname and port the broker will advertise to producers and consumers. If not set,
   # it uses the value for "listeners" if configured.  Otherwise, it will use the value
   # returned from java.net.InetAddress.getCanonicalHostName().
   #advertised.listeners=PLAINTEXT://your.host.name:9092
   host.name=192.168.198.128
4. 启动 Zookeeper
   bin/zookeeper-server-start.sh config/zookeeper.properties
5. 启动 Kafka
   bin/kafka-server-start.sh config/server.properties

• 创建一个Topic并查看是否创建成功
  bin/kafka-topics.sh --create --zookeeper 192.168.198.128:2181 --replication-factor 1 --partitions 1 --topic test　　

• 查看Topic是否创建成功
• bin/kafka-topics.sh --list --zookeeper 192.168.198.128:2181
• 本地Producer及Consumer演示

1. 创建一个本地消息消费者
   bin/kafka-console-consumer.sh --bootstrap-server 192.168.198.128:9092 --topic test --from-beginning
2. 创建一个本地消息生产者
   bin/kafka-console-producer.sh --broker-list 192.168.198.128:9092 --topic test
3. 在生产者端输入消息，消费者端将会打印此消息

• 远程Consumer演示(Windows 平台)

1. 下载kafka_2.11-1.0.2.tgz解压并进入bin/windows
2. 创建一个远程消费者
   kafka-console-consumer.bat --bootstrap-server 192.168.198.128:9092 --topic test --from-beginning
3. 在Linux平台生成者端输入消息，检查windows端远程消费者是否打印此消息

• Spring Boot集成配置
• KafkaProducer.java
• KafkaConsumer.java