使用“--py-files”参数将 PySpark 作业提交到集群

Posted 2023-02-16

【中文标题】使用“--py-files”参数将 PySpark 作业提交到集群

【英文标题】：Submit a PySpark job to a cluster with the '--py-files' argument

【发布时间】：2015-12-23 12:08:33

【问题描述】：

我正在尝试使用要使用的 python 文件的 zip 的 GCS uri（通过 --py-files 参数）和 python 文件名作为 PY_FILE 参数值提交作业。 这似乎不起作用。我是否需要为 PY_FILE 值提供一些相对路径？ PY_FILE 也包含在 zip 中。 例如在

gcloud beta dataproc jobs submit pyspark  --cluster clustername --py-files gcsuriofzip PY_FILE    

PY_FILE 的值应该是多少？

【参考方案1】：

这是个好问题。为了回答这个问题，我将使用PySpark wordcount example。

在这种情况下，我创建了两个文件，一个名为 test.py，这是我要执行的文件，另一个名为 wordcount.py.zip，这是一个包含 修改 wordcount.py 设计的文件的 zip模仿我想调用的模块。

我的test.py 文件如下所示：

import wordcount
import sys
if __name__ == "__main__":
    wordcount.wctest(sys.argv[1])

我修改了wordcount.py文件，去掉了main方法，增加了一个命名方法：

...
from pyspark import SparkContext

...
def wctest(path):
    sc = SparkContext(appName="PythonWordCount")
...

我可以使用以下gcloud 命令在Dataproc 上调用整个过程：

gcloud beta dataproc jobs submit pyspark  --cluster <cluster-name> \
--py-files gs://<bucket>/wordcount.py.zip gs://<bucket>/test.py \ 
gs://<bucket>/input/input.txt

在此示例中，<bucket> 是我的存储桶的名称（或路径），<cluster-name> 是我的 Dataproc 集群的名称。