是否可以让 Spark 在单个执行程序上运行整个任务集？

Posted 2023-04-18

【中文标题】是否可以让 Spark 在单个执行程序上运行整个任务集？

【英文标题】：Is it possible to make Spark run whole Taskset on a single executor?

【发布时间】：2018-03-08 14:07:54

【问题描述】：

我在本地集群（1 个 master-2workers/executors）上运行一个 spark 作业。

据我所知，工作的所有阶段都分为任务。每个阶段都有自己的任务集。这个TaskSet的每一个任务都会被调度到本地集群的一个executor上。

我想让 Spark 的 TaskSetManager 在同一个（本地）执行器上调度一个 TaskSet（单个阶段）的所有任务，但我还没有想出如何去做。

谢谢， 吉姆

【问题讨论】：

你为什么要这样做？你不想并行处理？

我想了解它是如何工作的，以便在执行程序上插入我的任务调度策略。

我想从 spark 中获得控制权，并成为决定哪个执行者将执行阶段的每个任务的人。

我不确定这是否可配置，但您可以随时阅读任务管理器实现 here

【参考方案1】：

提交作业时，提供执行者的数量为一个

【讨论】：

感谢您的回答 Kiran，但我想干预 Spark-core 以应用上述执行计划。