深入解析 Flink 细粒度资源管理

Posted dhf123

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了深入解析 Flink 细粒度资源管理相关的知识,希望对你有一定的参考价值。

使用相同的slot执行所有task可能会导致非最佳资源利用率。相同slot位的资源必须能够满足最高资源要求,这对于其他要求将是浪费的。当涉及到 GPU 等昂贵的外部资源时,这种浪费会变得更加难以承受。 因此,需要细粒度的资源管理,利用不同资源的slot来提高这种场景下的资源利用率。
使用相同的slot执行所有task可能会导致非最佳资源利用率。相同slot位的资源必须能够满足最高资源要求,这对于其他要求将是浪费的。当涉及到 GPU 等昂贵的外部资源时,这种浪费会变得更加难以承受。 因此,需要细粒度的资源管理,利用不同资源的slot来提高这种场景下的资源利用率。

以上是关于深入解析 Flink 细粒度资源管理的主要内容,如果未能解决你的问题,请参考以下文章

粗粒度与细粒度权限控制

粗粒度与细粒度权限控制

(转)通过SpringMVC+Annotation实现方法按钮级别的细粒度权限控制

通过SpringMVC+Annotation实现方法按钮级别的细粒度权限控制

通过SpringMVC+Annotation实现方法按钮级别的细粒度权限控制

Flink on yarn 启动模式对比