每日一题说说Spark的动态资源分配？

Posted 2021-04-03 勾叔谈大数据

大家好，我是勾叔。今天面试题是：说说Spark的动态资源分配。

问题分析

Spark中有点冷门的知识点，能够描述清楚就可以了，具体的参数不需要记。

核心问题回答

动态资源分配(DRA，dynamic resource allocation)

• 默认情况下，Spark采用资源预分配的方式。即为每个Spark应用设定一个最大可用资源总量，该应用在整个生命周期内都会持有这些资源
• Spark提供了一种机制，使它可以根据工作负载动态调整应用程序占用的资源。这意味着，不使用的资源时，应用程序会将资源返回给集群，并在稍后需要时再次请求资源。如果多个应用程序共享Spark集群中的资源，该特性尤为有用
• 动态的资源分配是 executor 级
• 默认情况下禁用此功能，并在所有粗粒度集群管理器上可用（CDH发行版中默认为true）

动态申请executor。如果有新任务处于等待状态，并且等待时间超过预设阈值(默认1s)，则会依次启动executor，每次启动1、2、4、8…个executor

动态移除executor。executor空闲时间超过预设阈值(默认60s)，该executor会被移除，除非有缓存数据

大家如果想进行更深入的了解和学习，请关注勾叔谈大数据参与更多互动。

推荐阅读：