执行 spark-submit 时纱线/任何队列有啥用？

Posted 2023-03-23

【中文标题】执行 spark-submit 时纱线/任何队列有啥用？

【英文标题】：What is use of Yarn/any queue while executing spark-submit?执行 spark-submit 时纱线/任何队列有什么用？

【发布时间】：2021-09-16 02:24:03

【问题描述】：

我试图理解为什么我们需要在执行 spark-submit 时给出一个队列？它扮演什么角色，为什么需要它以及如何使用它？我试图了解火花和相对较新的。因此，如果已经有答案/解释，请指出我

PS：找不到上述问题的任何适当解释，因此在此社区发帖

【问题讨论】：

你在说什么队列？ spark.yarn.queue？我在 YARN 模式下只看到队列参数。 spark.apache.org/docs/latest/…

【参考方案1】：

如果您在YARN mode 中谈论队列参数，那么->

The name of the YARN queue to which the application is submitted. 要获取有关该主题的更多详细信息，您可以从：

https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html https://docs.cloudera.com/HDPDocuments/HDP2/HDP-2.6.5/bk_yarn-resource-management/content/setting_up_queues.html https://blog.cloudera.com/yarn-capacity-scheduler/

但一般来说YARN队列，只是不同进程之间隔离资源使用的一种方式。