尝试为在 Amazon EMR 上运行的 Pyspark 安装 pandas

Posted 2023-04-15

【中文标题】尝试为在 Amazon EMR 上运行的 Pyspark 安装 pandas

【英文标题】：Trying to install pandas for Pyspark running on Amazon EMR

【发布时间】：2018-04-03 19:02:55

【问题描述】：

这个问题确实适用于任何 Python 包。我有一个在我的 Spark 作业之前运行的引导脚本，我假设我需要在该脚本中安装 pandas。我尝试了许多不同的方法，但似乎没有任何效果（pip install、easy_install、yum install 等）。在 Spark pandas 中导入失败时，所有作业都会失败。我正在运行 EMR v5.12.1 和 Python 3.4。

【参考方案1】：

sudo python3 -m pip install pandas

这是我们在bootstarp.sh 中写的安装pandas。