pySpark：获取执行者 ID

Posted 2023-04-15

【中文标题】pySpark：获取执行者 ID

【英文标题】：pySpark: Get executor id

【发布时间】：2017-06-23 17:03:26

【问题描述】：

运行 pySpark 代码时如何获取执行者 ID？我知道在 scala 中我可以使用 SparkEnv.get().executorId()，但在使用 pySpark 时我找不到等价物。

【参考方案1】：

您可以使用REST API查询执行者，我在pySparkUtils中使用它来查找executor IPs

博阿斯

【参考方案2】：

Spark UI 将允许您访问执行者 ID 以及他们的个人性能指标。