PySpark 执行程序库何时会与驱动程序不同？

Posted 2023-02-22

【中文标题】PySpark 执行程序库何时会与驱动程序不同？

【英文标题】：When would PySpark executor libraries be different than the driver?

【发布时间】：2020-12-16 06:30:22

【问题描述】：

我关注了this guide（为 Medium 帖子道歉），它展示了如何为 Spark 执行器和驱动程序单独打包 python 环境和库。什么时候你会期望每个库都需要不同的库？我认为一个简单但具体的例子会有所帮助。

【参考方案1】：

想象一个场景，一旦 Spark 作业完成，您需要向用户发送一封电子邮件作为通知，现在这个用于发送电子邮件的特定功能将始终在驱动程序上执行。 , 所以smtplib 和相关的库只需要在驱动程序上可用，因为执行程序不会发送电子邮件。

【讨论】：

很好的例子。假设任何不属于 UDF 的代码可能根本不会在执行程序中运行，这通常是安全的吗？

这是一个正确的假设，几乎在所有情况下都有效，但也有一些例外。我将尝试获取一些示例