安装单机kafka

Posted 从零开始的linux

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了安装单机kafka相关的知识，希望对你有一定的参考价值。

安装jdk

安装kafka

 
   
   
 
    
  
    
    
  
  1. [root@localhost kafka_2.11-1.0.0]# wget http://mirrors.shuosc.org/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz
    2. 
  
    
    
  
  2. [root@localhost kafka_2.11-1.0.0]# cd kafka_2.11-1.0.0/
    3. 
  
    
    
  
  3. #启动zookeeper
    4. 
  
    
    
  
  4. [root@localhost kafka_2.11-1.0.0]# bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
    5. 
  
    
    
  
  5. #启动kafka
    6. 
  
    
    
  
  6. [root@localhost kafka_2.11-1.0.0]# bin/kafka-server-start.sh -daemon config/server.properties 
    7.

查看端口

 
   
   
 
    
  
    
    
  
  1. root@localhost kafka_2.11-1.0.0]# netstat -nltp
    2. 
  
    
    
  
  2. Active Internet connections (only servers)
    3. 
  
    
    
  
  3. Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
    4. 
  
    
    
  
  4. tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      989/sshd            
    5. 
  
    
    
  
  5. tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      1095/master         
    6. 
  
    
    
  
  6. tcp6       0      0 :::38544                :::*                    LISTEN      1692/java           
    7. 
  
    
    
  
  7. tcp6       0      0 :::22                   :::*                    LISTEN      989/sshd            
    8. 
  
    
    
  
  8. tcp6       0      0 :::38489                :::*                    LISTEN      2278/java           
    9. 
  
    
    
  
  9. tcp6       0      0 ::1:25                  :::*                    LISTEN      1095/master         
    10. 
  
    
    
  
  10. tcp6       0      0 :::9092                 :::*                    LISTEN      2278/java           
    11. 
  
    
    
  
  11. tcp6       0      0 :::2181                 :::*                    LISTEN      1692/java           
    12.

创建一个单分区单副本的 topic: mytopic

 
   
   
 
    
  
    
    
  
  1. [root@localhost kafka_2.11-1.0.0]# bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic mytopic
    2. 
  
    
    
  
  2. Created topic "mytopic".
    3.

查看已经存在的 topic

 
   
   
 
    
  
    
    
  
  1. [root@localhost kafka_2.11-1.0.0]# bin/kafka-topics.sh --list --zookeeper localhost:2181
    2. 
  
    
    
  
  2. mytopic
    3. 
  
    
    
  
  3. [root@localhost kafka_2.11-1.0.0]# bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic mytopic
    4. 
  
    
    
  
  4. Topic:mytopic    PartitionCount:1    ReplicationFactor:1 Configs:
    5. 
  
    
    
  
  5.     Topic: mytopic  Partition: 0    Leader: 0   Replicas: 0 Isr: 0
    6.

产生消息

 
   
   
 
    
  
    
    
  
  1. bin/kafka-console-producer.sh --broker-list localhost:9092 --topic mytopic
    2.

打开另一个终端消费消息

 
   
   
 
    
  
    
    
  
  1. [root@localhost kafka_2.11-1.0.0]# bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic mytopic --from-beginning
    2. 
  
    
    
  
  2. Using the ConsoleConsumer with old consumer is deprecated and will be removed in a future major release. Consider using the new consumer by passing [bootstrap-server] instead of [zookeeper].
    3. 
  
    
    
  
  3. hello
    4.

使用 Kafka Connect 导入导出数据

 
   
   
 
    
  
    
    
  
  1. #首先运行一个脚本每隔一段时间追加一个数字
    2. 
  
    
    
  
  2. [root@localhost kafka_2.11-1.0.0]# for i in {1..300};do echo $i >> test.txt; sleep 1; done
    3. 
  
    
    
  
  3. #根据配置文件connect-file-source.properties
    4. 
  
    
    
  
  4. 里面的源文件填写file=test.txt,connect-file-sink.propertiest为file=test.sink.txt
    5. 
  
    
    
  
  5. #从一个文件中读取输入到另一个文件
    6. 
  
    
    
  
  6. [root@localhost kafka_2.11-1.0.0]# bin/connect-standalone.sh -daemon config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties
    7. 
  
    
    
  
  7. #查看另一个文件
    8. 
  
    
    
  
  8. [root@localhost kafka_2.11-1.0.0]# tail -f test.sink.txt
    9. 
  
    
    
  
  9. 1
    10. 
  
    
    
  
  10. 2
    11. 
  
    
    
  
  11. 3
    12. 
  
    
    
  
  12. 4
    13. 
  
    
    
  
  13. 5
    14. 
  
    
    
  
  14. 6
    15. 
  
    
    
  
  15. 7
    16. 
  
    
    
  
  16. 8
    17. 
  
    
    
  
  17. 9
    18. 
  
    
    
  
    19. 
  
    
    
  
  19. [root@localhost kafka_2.11-1.0.0]# bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic connect-test
    20. 
  
    
    
  
  20. Topic:connect-test    PartitionCount:1    ReplicationFactor:1 Configs:
    21. 
  
    
    
  
  21.     Topic: connect-test Partition: 0    Leader: 0   Replicas: 0 Isr: 0
    22.


以上是关于安装单机kafka的主要内容，如果未能解决你的问题，请参考以下文章

解开Kafka神秘的面纱：kafka单机部署和集群部署

Docker(单机Kafka安装)

安装单机kafka

MySQL系列：kafka停止命令

kafka简单安装kafka单机版

kafka单机安装