Flink 如何定位背压来源

Posted 2023-03-03 @SmartSi

Flink 版本：1.13.0

在过去的几年里，背压的问题从不同的角度得到了解决。然而，在判断和分析背压来源时，最近的 Flink 版本发生了很大的变化（尤其是在 Flink 1.13 中新增了监控指标和 Web UI）。这篇文章将一起看一下其中的一些变化，并详细介绍如何追踪背压的来源，但首先……

1. 什么是背压？

Flink 如何处理背压 这篇文章虽然比较旧，但比较准确的解释了背压。如果您不了解背压这个概念，我强烈建议您阅读一下。如果想更深入、更底层地了解该话题以及 Flink 的网络堆栈是如何工作的，可以查阅Flink 网络流控和反压剖析详解。

从高层次上理解，如果作业图中的某些算子无法以接收记录相同的速度处理记录，就会发生背压。运行这个慢算子的子任务的输入缓冲区就会被填满。一旦输入缓冲区被填满，背压就会传播到上游子任务的输出缓冲区。一旦上游子任务的输出缓冲区被填满，上游子任务就被迫降低处理速度，来匹配慢算子的处理速度，最终导