FlinkFlink 消费 kafka 实现 限流处理 RateLimiter

Posted 九师兄

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了FlinkFlink 消费 kafka 实现 限流处理 RateLimiter相关的知识,希望对你有一定的参考价值。

文章目录


1.概述

首先看看 【java】高并发之限流 RateLimiter使用 这个去看看限流怎么使用。

然后看看扩展的kafka是如何限流的,95-10-040-启动-限额管理

然后下面是FLink如何做限流的。

2.案例

2.1 案例1

public void testRateLimitedConsumer

以上是关于FlinkFlink 消费 kafka 实现 限流处理 RateLimiter的主要内容,如果未能解决你的问题,请参考以下文章

FLinkFLink 消费 kafka 报错 Selector Close Connection Null NetworkReceive OOM 内存溢出

FlinkFlink 模拟 kafka 消费重启后 能接着读取 保存状态信息

FlinkFlink Kafka 消费卡死 消费组卡死 topic无写入 实际有数据 topic正常

flinkflink 消费组死掉 Lag不变 kafka不提交 重启恢复 非常诡异

FlinkFlink 消费 kafka retries和retry.backoff.ms 引起问题

FlinkFlink1.12.0 FlinkSQL消费Kafka 使用 temporal join 关联维表Hive 最新分区数据 join 不上