Flink with Avro Confluent Kafka-Registry

Posted 宝哥大数据

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Flink with Avro Confluent Kafka-Registry相关的知识，希望对你有一定的参考价值。

一、前言

Kafka Schema-Registry

二、Flink with Avro Confluent Kafka-Registry

2.1、生成User.java

2.1.1、user.avsc 数据格式文件

{
 "namespace": "example.avro",
 "type": "record",
 "name": "User",
 "fields": [
     {"name": "id", "type": "int", "default": 0},
     {"name": "name",  "type": "string", "default": ""},
     {"name": "age", "type": "int", "default": 0}
 ]
 }

2.1.2、使用 avro-tools-1.7.7.jar 生成 User 对象

java -jar doc/avro-tools-1.7.7.jar compile schema src/main/resources/user.avsc

2.2、向test-topic生成 avro confluent kafka-registry消息

具体见 Kafka Schema-Registry—2.2.2.1、KafkaProducer

以上是关于Flink with Avro Confluent Kafka-Registry的主要内容，如果未能解决你的问题，请参考以下文章

使用 Avro 序列化器将 Spark Structured Streaming 数据发送到 Confluent Kafka

Confluent SchemaRegistry 如何帮助确保读取（投影）Avro 模式演变？

在 Confluent S3 Kafka 连接器中压缩 Avro 数据

具有逻辑类型的 Avro 模式不能与最新的 confluent-kafka 一起使用

在没有 Confluent Schema Registry 的情况下在 KafkaConnect 中使用 Avro

如何使用带有 from_avro 标准功能的 Confluent Schema Registry？ [复制]