提交 pyspark 作业时出现语法错误

Posted 2023-04-18

【中文标题】提交 pyspark 作业时出现语法错误

【英文标题】：Syntax error while submitting pyspark job

【发布时间】：2016-12-08 12:09:30

【问题描述】：

我已经通过 VMware 在 ubuntu 14 上设置了 hadoop 和 spark。我正在尝试在独立模式下在 spark/examples/... 中运行 wordcount 的 python 脚本，但它给出了语法错误。

    ./bin/spark-submit --master yarn --deploy-mode client --executor-memory  2g  usr/local/spark/examples/src/main/python/wordcount.py '/usr/local/spark/README.md'
     File "<stdin>", line 1
    ./bin/spark-submit --master yarn --deploy-mode client --executor-memory 1g 
    /usr/local/spark/examples/src/main/python/wordcount.py '/usr/local/README.md'
        ^
    SyntaxError: invalid syntax

我是spark的初学者，请告诉我如何解决它.....

【问题讨论】：

由于语法错误背后的实际问题通常在所指出的那一行之前，请显示前面的几行。同时提供完整的回溯。

这是上一行...

【参考方案1】：

wordcount.py 需要两个输入参数，请参阅 here

【讨论】：

第二个参数是什么

我的意思是输入文件作为第一个参数，但没有指定第二个参数的使用，所以我必须作为第二个参数传递。

【参考方案2】：

当我从 bin 目录而不是 Spark 目录调用 ./bin/spark-submit 时，我已经解决了这个错误。它与两个参数无关，代码使用单个参数指定文件路径。