深入解析 Flink 细粒度资源管理

Posted dhf123

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了深入解析 Flink 细粒度资源管理相关的知识,希望对你有一定的参考价值。

使用相同的slot执行所有task可能会导致非最佳资源利用率。相同slot位的资源必须能够满足最高资源要求,这对于其他要求将是浪费的。当涉及到 GPU 等昂贵的外部资源时,这种浪费会变得更加难以承受。 因此,需要细粒度的资源管理,利用不同资源的slot来提高这种场景下的资源利用率。
使用相同的slot执行所有task可能会导致非最佳资源利用率。相同slot位的资源必须能够满足最高资源要求,这对于其他要求将是浪费的。当涉及到 GPU 等昂贵的外部资源时,这种浪费会变得更加难以承受。 因此,需要细粒度的资源管理,利用不同资源的slot来提高这种场景下的资源利用率。

以上是关于深入解析 Flink 细粒度资源管理的主要内容,如果未能解决你的问题,请参考以下文章

SpringBoot 事务

Flink状态管理

python-享元模式

GLIP_Grounded Language-Image Pre-training

flink调优_yarn动态分配cpu资源

Apache Flink系列-④有状态函数

华为云DLI Flink作业生产环境推荐配置指导

PHP设计模式—享元模式

资源画像,让容器资源规格的填写不再纠结

Java设计模式之——享元模式