FusionInsight大数据开发---Kafka应用开发

Posted 2022-05-18 cainiao-chuanqi

Kafka应用开发

1. 了解Kafka应用开发适用场景
2. 熟悉Kafka应用开发流程
3. 熟悉并使用Kafka常用API
4. 进行Kafka应用开发

Kafka的定义
Kafka是一个高吞吐、分布式、基于发布订阅的消息系统
Kafka有如下几个特点：

1. 高吞吐量
2. 消息持久化到磁盘
3. 分布式系统易扩展
4. 容错性好

Kafka的适用场景

1. 适用于离线和在线的消息消费
2. 已对接组件
3. Streaming、Spark、Flume

使用Kafka的好处

• 解耦--使得消息生产、消费系统能够独立变更
• 可靠--有效解决单点故障引发系统不可用问题
• 易扩展--生产、消费系统扩展简单
• 可恢复--消息缓存下来，支持故障从故障点读取
• 异步通信--生产系统无需关心消费系统的消费时间

配置及开发准备--配置keytab文件到样例工程

1. 配置Keytab到工程
2. 安全认证
3. Topic订阅
4. 消费获取
5. 消费处理

Kafka常用接口

• Kafka集群安全访问端口默认为21007，非安全访问端口默认为21005

Kafka Producer接口

1.  向管理员申请目标Topic的生产者权限
2.  根据业务需求，配置发送相关配置参数
3.  调用新Producer API接口发送数据

Kafka Consumer接口

1. 向管理员申请目标Topic的消费者权限
2. 根据业务需求，配置消费者相关配置参数
3. 调用新Consumer API接口进行消息消费