99th percentile 延迟和吞吐量是啥意思

Posted 2023-04-18

【中文标题】99th percentile 延迟和吞吐量是啥意思

【英文标题】：What is the meaning of 99th percentile latency and throughput99th percentile 延迟和吞吐量是什么意思

【发布时间】：2017-10-18 07:13:34

【问题描述】：

我读过一些文章，对 Spark 流、Storm 和 Flink 等流处理引擎的性能进行基准测试。在评估部分，标准是第 99 个百分位和吞吐量。例如，Apache Kafka 以每秒大约 100.000 个事件发送数据，这三个引擎充当流处理器，它们的性能使用 99% 延迟和吞吐量来描述。

谁能帮我澄清这两个标准？

【问题讨论】：

我将从阅读 en.wikipedia.org/wiki/Percentile 开始。它通常会澄清关于百分位数的歧义。

@YuvalItzchakov 我知道百分位数在统计中的含义，但我想知道它在流处理领域的含义。

你能把你正在阅读的文章推荐给我们吗？

@YuvalItzchakov 当然，ieeexplore.ieee.org/document/7530084

【参考方案1】：

流作业中 X 毫秒的 99% 延迟意味着 99% 的项目在不到 X 毫秒的时间内到达管道末端。阅读this reference了解更多详情。

当应用程序开发人员预计会有一定的延迟时，他们通常需要 延迟界限。我们测量了流的几个延迟范围 记录分组作业，通过网络对数据进行洗牌。这 下图显示了观察到的中值延迟，以及 第 90、第 95 和第 99 个百分位（延迟的第 99 个百分位） 例如，50 毫秒意味着 99% 的元素到达 管道在不到 50 毫秒内结束）。