数据开发中的资源管理优化（spark运行）

Posted 2023-03-02 LknotThatGood

在数据开发中，资源管理主要看关注于队列整体的CPU使用率，内存使用率或者单个任务的CPU使用率，内存使用率。

CPU使用率

默认情况下是一个core执行一个task,如果此时CPU利用率过低，那么可以通过设置spark.vcore.boost.ratio来提高单个core执行的任务数。

除此之外，CPU的使用率还与任务分配到的executor个数有关。一般在实际开发中，executor的个数默认为动态资源分配。 这使任务可以根据工作负载动态调整应用程序占用的资源。如果不再使用资源，应用程序可能会将资源返回给集群，并在稍后需要时再次请求资源。

有关spark的动态资源分配参数与介绍如下：

spark.dynamicAllocation.enabled=true，开启参数

spark.dynamicAllocation.minExecutors=5，executor最小申请个数

spark.dynamicAllocation.maxExecutors=900，executor最大申请个数

spark.dynamicAllocation.initialExecutors=5，初始申请executor个数,
默认等于minExecutors

spark.dynamicAllocation.executorIdleTimeout=120s，
一个executor空闲超过该参数时,自动释放资源

spark.dynamicAllocation.schedulerBacklogTimeout`(默认1秒)，
如果有task pending超过该参数，开启资源申请

spark.dynamicAllocation.sustainedSchedulerBacklogTimeout(默认等于上面的参数)，
当pending task存在以后，每隔该参数进行一个资源的申请
(如果资源有，会以1、2、4、8指数的申请)

spark.shuffle.service.enabled=true，
在不删除由executors产生的shuffle文件的情况下删除executors

 

内存使用率

内存分配涉及到了yarn集群资源，yarn的队列机制是为了控制不同业务线的资源大小，可以通过配置每个队列最大、最小资源量来进行弹性分配。

 （spark内存图）

在实际开发中，调节内存的参数一般有两个：

• spark.executor.memory 用于直接调节任务中单个executor的内存大小。
• spark.memory.fraction 用于统一内存占比。在shuffle很重、内存很大的情况下可以适当调大该参数。