flink调优之压测任务的合理并行度

Posted 肥仔佳文猪

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了flink调优之压测任务的合理并行度相关的知识,希望对你有一定的参考价值。

压测合理并行度的方法: ①获得高峰期的qps,如每秒5w条 ②消费该高峰期的数据,达到反压状态后查看每秒处理的数据量y,就是单并行度的处理上限 ③x除以y,增加一点富余: 乘以1.2,就是合理的并行度。 在flink中,设置并行度的地方有: ①配置文件 ②提交任务时的参数 ③代码env ④代码算子

以上是关于flink调优之压测任务的合理并行度的主要内容,如果未能解决你的问题,请参考以下文章

Spark性能调优之合理设置并行度

合理评估flink的并行度

Flink 实战系列如何给 Flink 任务设置合理的并行度?

大数据之Spark:Spark调优之RDD算子调优

flink 并行度

25.Flink监控什么是MetricsMetrics分类Flink性能优化的方法合理调整并行度合理调整并行度Flink内存管理Spark VS Flink时间机制容错机制等