Kafka的入门及安装使用

Posted ssyfj

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Kafka的入门及安装使用相关的知识,希望对你有一定的参考价值。

Kafka学习之路 (一)Kafka的简介

Kafka学习之路 (二)Kafka的架构

Kafka学习之路 (三)Kafka的高可用

Kafka学习之路 (四)Kafka的安装

Kafka学习之路 (五)Kafka在zookeeper中的存储

二:Kafka架构原理

(一)Kafka应用场景

Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。

技术图片

主要应用场景是:日志收集系统和消息系统。

(二)Kafka集群系统

技术图片

Kafka是一个分布式集群,内部有很多server组成,这些server称为blocker(中间商),blocker管理数据时,会对数据进行分区操作。

因为一个Kafka集群会对很多子系统进行服务,不同子系统发送的消息需要进行区分,则可以通过topics主题进行区分。 而每一个topic中的消息都会进行分区,例如:partition1、partition2.....通过分区可以进行负载均衡。将各个分区可以放入到不同的server中,可以进行负载均衡。

技术图片

1:kafka是一个分布式的消息缓存系统
2:kafka集群中的服务器都叫做broker
3:kafka有两类客户端,一类叫producer(消息生产者),一类叫做consumer(消息消费者),客户端和broker服务器之间采用tcp协议连接
4:kafka中不同业务系统的消息可以通过topic进行区分,而且每一个消息topic都会被分区,以分担消息读写的负载
5:每一个分区都可以有多个副本,以防止数据的丢失
6:某一个分区中的数据如果需要更新,都必须通过该分区所有副本中的leader来更新
7:消费者可以分组,比如有两个消费者组A和B,共同消费一个topic:order_info,A和B所消费的消息不会重复
比如 order_info 中有100个消息,每个消息有一个id,编号从0-99,那么,如果A组消费0-49号,B组就消费50-99号
8:消费者在具体消费某个topic中的消息时,可以指定起始偏移量(例如:在消费某个消息时,中途故障,那么下一次可以指定起始偏移量,接着之前的数据下载)

三:Kafka安装

(一)需要提前安装zookeeper,进行集群协调

(二)集群安装

1、解压
2、修改server.properties
broker.id=1  注意:每一个节点的id都应该唯一
zookeeper.connect=hadoopH5:2181,hadoopH6:2181,hadoopH7:2181

3、将zookeeper集群启动

4、在每一台节点上启动broker
bin/kafka-server-start.sh config/server.properties

补充:在4中,启动集群以后,可以使用zookeeper进行节点查看

zkCli.sh
ls /brokers/ids

技术图片

启动进程查看:

技术图片技术图片技术图片

(三)在集群中创建topic

5、在kafka集群中创建一个topic
bin/kafka-topics.sh --create --zookeeper hadoopH5:2181 --replication-factor 3 --partitions 1 --topic order

注意:副本数不能大于启动节点数。我们这里启动3节点,所有设置副本3.分区1(分区越少,顺序性越强)

技术图片

可以使用 bin/kafka-topics.sh --list --zookeeper hadoopH5:2181来查看集群topic

技术图片

(四)使用生产者向Kafka的topic写入消息

6、用一个producer向某一个topic中写入消息
bin/kafka-console-producer.sh --broker-list hadoopH5:9092 --topic order

技术图片

开启后,每输入一行数据,就是一个消息。 

(五)使用消费者进行消息读取

7、用一个comsumer从某一个topic中读取信息
bin/kafka-console-consumer.sh --zookeeper hadoopH5:2181 --from-beginning --topic order

技术图片

生产和消费都是同步的。from-beginning设置偏移量从头开始,即读取全部消息。若是不设置,则从当前时刻开始读取消息

(六)分区状态查看

8、查看一个topic的分区及副本状态信息
bin/kafka-topics.sh --describe --zookeeper hadoopH5:2181 --topic order

技术图片

 

以上是关于Kafka的入门及安装使用的主要内容,如果未能解决你的问题,请参考以下文章

Kafka 安装及快速入门

Kafka入门系列——Kafka环境安装

Kafka入门 概述部署与API的简单使用

Kafka入门 概述部署与API的简单使用

Kafka从入门到成神系列 五Kafka 幂等性及事务

Linux下单机安装部署kafka及代码实现