在 Spark 执行器节点上安装 Python 依赖项的最简单方法是啥？

Posted 2023-02-16

【中文标题】在 Spark 执行器节点上安装 Python 依赖项的最简单方法是啥？

【英文标题】：Easiest way to install Python dependencies on Spark executor nodes?在 Spark 执行器节点上安装 Python 依赖项的最简单方法是什么？

【发布时间】：2015-06-12 06:38:46

【问题描述】：

我了解您可以使用 Python Spark 程序将单个文件作为依赖项发送。但是成熟的库（例如 numpy）呢？

Spark 是否有办法使用提供的包管理器（例如 pip）来安装库依赖项？还是必须在执行 Spark 程序之前手动完成？

如果答案是手动，那么在大量分布式节点上同步库（安装路径、版本等）的“最佳实践”方法是什么？

【问题讨论】：

很难找到这个问题的答案，但我终于找到了这个回答的 SO 问题，我认为它涵盖了它：***.com/questions/24686474/…

shipping python modules in pyspark to other nodes?的可能重复

【参考方案1】：

实际上已经尝试过了，我认为我作为评论发布的链接并不能完全满足您对依赖项的要求。您相当合理地要求的是一种让 Spark 与 setuptools 和 pip 很好地配合安装依赖项的方法。让我大吃一惊的是，Spark 并没有更好地支持这一点。第三方依赖问题在通用 Python 中基本上得到了解决，但在 Spark 下，似乎假设你会回到手动依赖管理之类的。

我一直在使用基于virtualenv 的不完美但功能强大的管道。基本思路是

为您的 Spark 节点创建一个纯虚拟环境 每次运行 Spark 作业时，都运行一个全新的pip install，包含您自己的所有内部 Python 库。如果您使用setuptools 设置了这些，这将安装它们的依赖项 压缩 virtualenv 的 site-packages 目录。这将包括您的库及其依赖项，工作节点将需要这些库，但不包括他们已经拥有的标准 Python 库 将包含您的库及其依赖项的单个 .zip 文件作为参数传递给 --py-files

当然，您需要编写一些帮助脚本来管理此过程。这是一个从我一直在使用的脚本改编而来的帮助脚本，它无疑可以改进很多：

#!/usr/bin/env bash
# helper script to fulfil Spark's python packaging requirements.
# Installs everything in a designated virtualenv, then zips up the virtualenv for using as an the value of
# supplied to --py-files argument of `pyspark` or `spark-submit`
# First argument should be the top-level virtualenv
# Second argument is the zipfile which will be created, and
#   which you can subsequently supply as the --py-files argument to 
#   spark-submit
# Subsequent arguments are all the private packages you wish to install
# If these are set up with setuptools, their dependencies will be installed

VENV=$1; shift
ZIPFILE=$1; shift
PACKAGES=$*

. $VENV/bin/activate
for pkg in $PACKAGES; do
  pip install --upgrade $pkg
done
TMPZIP="$TMPDIR/$RANDOM.zip" # abs path. Use random number to avoid ***es with other processes
( cd "$VENV/lib/python2.7/site-packages" && zip -q -r $TMPZIP . )
mv $TMPZIP $ZIPFILE

我有一组其他简单的包装脚本，我运行这些脚本来提交我的 Spark 作业。我只是首先调用这个脚本作为该过程的一部分，并确保在我运行spark-submit 时将第二个参数（zip 文件的名称）作为 --py-files 参数传递（如 cmets 中所述）。我总是运行这些脚本，所以我永远不会意外地运行旧代码。与 Spark 开销相比，我的小型项目的打包开销是最小的。

有很多可以改进的地方——例如，知道何时创建一个新的 zip 文件，将它分成两个 zip 文件，一个包含经常更改的私有包，一个包含很少更改的依赖项，这些文件不会' t需要经常重建。在重建 zip 之前，您可能会更聪明地检查文件更改。检查论点的有效性也是一个好主意。不过现在这对我的目的来说已经足够了。

我想出的解决方案并不是专门为像 NumPy 这样的大规模依赖而设计的（尽管它可能对它们有用）。此外，如果您正在构建基于 C 的扩展，并且您的驱动程序节点与集群节点具有不同的体系结构，它将无法工作。

我在其他地方看到过建议在所有节点上运行像 Anaconda 这样的 Python 发行版，因为它已经包含 NumPy（和 many other packages），这可能是获取 NumPy 以及其他 C- 的更好方法基于扩展。无论如何，我们不能总是期望 Anaconda 拥有我们想要的正确版本的 PyPI 包，此外，您可能无法控制 Spark 环境以将 Anaconda 放在上面，所以我认为这个基于 virtualenv方法还是有用的。

【讨论】：

这样的 Spark 上下文中的 API：sc.addDependencies('numpy') 是必须的

@GalinaAlperovich 这与提供您的 pip 依赖项不同，正如 guilhermecgs 要求的那样。

@void 当然，如果您需要立即使用外部依赖项，这只是一个简单的快速修复

这仍然是最简单的方法吗？这仍然是令人难以置信的复杂 imo，让我不想使用 spark...

快速提醒：很多生产集群无法上网