Kafka 3.0 发布

Posted 2021-10-11 不叫月红

知名的开源流处理平台 Kafka 3.0 正式发布，该版本进行了3项功能更新、超多项的功能改进与漏洞修复。具体详情大家可以查看官方的发布说明：

• https://downloads.apache.org/kafka/3.0.0/RELEASE_NOTES.html

Kafka 3.0 新功能：

• [ KAFKA-8863 ] - 添加 InsertHeader 和 DropHeaders 连接转换 KIP-145
• [ KAFKA-12471 ] - 在 KIP-500 模式下实现 createPartitions
• [ KAFKA-13207 ] - 如果分区从fetcher 中删除，副本fetcher不应在发散时期更新分区状态

部分功能改进：

[ KAFKA-3745 ] - 考虑向 ValueJoiner 接口添加连接键
[ KAFKA-4793 ] - Kafka Connect: POST /connectors/(string: name)/restart 不会启动失败的任务
[ KAFKA-5235 ] - GetOffsetShell：支持多个主题和消费者配置覆盖
[ KAFKA-6987 ] - 用 CompletableFuture 重新实现 KafkaFuture
[ KAFKA-7458 ] - 在引导阶段避免强制处理
[ KAFKA-8326 ] - 添加 Serde> 支持
[ KAFKA-8372 ] - 删除不推荐使用的 RocksDB#compactRange API
[ KAFKA-8478 ] - 在强制处理之前轮询更多记录
[ KAFKA-8531 ] - 更改默认复制因子配置
[ KAFKA-8613 ] -对流中的窗口操作强制使用宽限期
[ KAFKA-8897 ] - RocksDB 增加版本
[ KAFKA-9559 ] - 将默认的“默认 serde”从 ByteArraySerde 更改为 null
[ KAFKA-9726 ] - MM2 模仿 MM1 的 IdentityReplicationPolicy
[ KAFKA-10062 ] - 添加一种方法来检索 Streams 应用程序已知的当前时间戳
[ KAFKA-10201 ] - 更新代码库以使用更具包容性的术语
[ KAFKA-10449 ] - Connect-distributed 示例配置文件没有针对侦听器的说明
[ KAFKA-10585 ] - Kafka Streams 应该从清理中清理状态存储目录
[ KAFKA-10619 ] - Producer 将默认启用 EOS
[ KAFKA-10675 ] - 来自 ConnectSchema.validateValue() 的错误消息应包括架构的名称。
[ KAFKA-10697 ] - 删除 ProduceResponse.responses
[ KAFKA-10746 ] - 消费者轮询超时到期应记录为警告而不是信息。
[ KAFKA-10767 ] - 为 ThreadCacheTest 中缺少的方法添加单元测试用例
[ KAFKA-10769 ] - 删除 JoinGroupRequest#containsValidPattern 因为它与 Topic#containsValidPattern 重复
[ KAFKA-10885 ] - 重构 MemoryRecordsBuilderTest/MemoryRecordsTest 以避免大量（不必要的）被忽略的测试用例
[ KAFKA-12177 ] - 保留不是幂等的
[ KAFKA-12234 ] - 扩展 OffsetFetch 请求以接受多个组 ID。
[ KAFKA-12287 ] - 当按时间戳或持续时间重置偏移量找不到偏移量并默认为最新时，在消费者组上添加警告日志记录。
[ KAFKA-12288 ] - 删除任务级文件系统锁
[ KAFKA-12294 ] - 考虑使用转发机制来创建元数据自动主题
[ KAFKA-12313 ] - 考虑弃用 default.windowed.serde.inner.class 配置
[ KAFKA-12329 ] - 当主题不存在时，kafka-reassign-partitions 命令应该给出更好的错误信息
[ KAFKA-12335 ] - 将 junit 从 5.7.0 升级到 5.7.1
[ KAFKA-12344 ] - 在 Scala API 中支持 SlidingWindows
[ KAFKA-12347 ] - 提高 Kafka Streams 跟踪进度的能力
[ KAFKA-12349 ] - 跟进 KIP-500 中的 PartitionEpoch
[ KAFKA-12362 ] - 确定任务是否空闲
[ KAFKA-12379 ] - KIP-716：允许使用 MirrorMaker2 配置 offsetsync 主题的位置
[ KAFKA-12396 ] - 收到空密钥时kstreams 的专用异常
[ KAFKA-12398 ] - 修复脆弱的测试 ConsumerBounceTest.testClose
[ KAFKA-12408 ] - 文档省略了 ReplicaManager 指标
[ KAFKA-12409 ] - ReplicaManager 中的计量器泄漏
[ KAFKA-12415 ] - 为 Gradle 7.0 做准备并限制非 api 依赖项的传递范围
[ KAFKA-12419 ] - 删除 3.0 中弃用的 Kafka Streams API
[ KAFKA-12436 ] - 弃用 MirrorMaker v1
[ KAFKA-12439 ] - 在 KIP-500 模式下，我们应该能够为被围栏的节点分配新的分区
[ KAFKA-12442 ] - 将 ZSTD JNI 从 1.4.8-4 升级到 1.4.9-1
[ KAFKA-12454 ] - 当当前 kafka 集群中不存在给定的 brokerIds 时，在 kafka-log-dirs 上添加错误日志记录
[ KAFKA-12464 ] - 增强约束粘性分配算法
[ KAFKA-12479 ] - 在 ConsumerGroupCommand中将分区偏移请求合并为单个请求
[ KAFKA-12483 ] - 默认情况下在连接器配置中启用客户端覆盖
[ KAFKA-12484 ] - 默认情况下启用 Connect 的连接器日志上下文
[ KAFKA-12499 ] - 根据 Streams EOS 上的提交间隔调整事务超时
[ KAFKA-12509 ] - 加强 StateDirectory 线程锁定
[ KAFKA-12541 ] - 扩展 ListOffset 以获取具有最大时间戳的偏移量 (KIP-734)
[ KAFKA-12573 ] - 删除了不推荐使用的Metric#value
[ KAFKA-12574 ] - 弃用 eos-alpha
[ KAFKA-12577 ] - 删除不推荐使用的 ConfigEntry 构造函数
[ KAFKA-12584 ] - 删除不推荐使用的 Sum 和 Total 类
[ KAFKA-12591 ] - 删除不推荐使用的 quota.producer.default 和 quota.consumer.default 配置
[ KAFKA-12612 ] - 从 3.0 中的 ConsumerRecord/RecordMetadata 中删除校验和
[ KAFKA-12614 ] - 使用 Jenkinsfile 进行主干和发布分支构建
[ KAFKA-12620 ] - 控制器生成的生产者 ID
[ KAFKA-12637 ] - 删除不推荐使用的 PartitionAssignor 接口
[ KAFKA-12662 ] - 为 ProducerPerformance 添加单元测试
[ KAFKA-12663 ] - 更新 FindCoordinator 以一次解析多个 Coordinator
[ KAFKA-12675 ] - 提高粘性通用分配器的可扩展性和性能
[ KAFKA-12779 ] - TaskMetadata 应该返回实际的 TaskId 而不是纯字符串
[ KAFKA-12788 ] - 改进 KRaft 副本放置
[ KAFKA-12803 ] - 支持在 KRaft 模式下重新分配分区
[ KAFKA-12819 ] - 测试的生活质量改进
[ KAFKA-12849 ] - 考虑将 TaskMetadata 迁移到与内部实现的接口
[ KAFKA-12874 ] - 将默认消费者会话超时增加到 45 秒 (KIP-735)
[ KAFKA-12906 ] - 消费者应在反序列化异常中包含分区和偏移量
[ KAFKA-12909 ] - 允许用户选择加入虚假的左/外流流加入改进
[ KAFKA-12921 ] - 将 ZSTD JNI 从 1.4.9-1 升级到 1.5.0-1
[ KAFKA-12922 ] - MirrorCheckpointTask 应该关闭主题过滤器
[ KAFKA-12931 ] - KIP-746：修改 KRaft 元数据记录
[ KAFKA-12934 ] - 将一些控制器类移动到元数据包
[ KAFKA-12981 ] - 确保同步读取/更新 LogSegment.maxTimestampSoFar 和 LogSegment.offsetOfMaxTimestampSoFar
[ KAFKA-13000 ] - 改进 MockClient 中 UnsupportedVersionException 的处理
[ KAFKA-13021 ] - 从 KIP-633 改进 API 更改和地址跟进的 Javadocs
[ KAFKA-13026 ] - 幂等生产者 (KAFKA-10619) 后续测试
[ KAFKA-13041 ] - 支持使用 ducker-ak 调试系统测试
[ KAFKA-13209 ] - 升级码头服务器以修复 CVE-2021-34429
[ KAFKA-13258 ] - AlterClientQuotas 响应失败时不包含错误
[ KAFKA-13259 ] - DescribeProducers 响应在失败时不包含错误
[ KAFKA-13260 ] - FindCoordinator errorCounts 不处理 v4