spark-submit 适用于 Python 程序,但 pyspark 不起作用

Posted

技术标签:

【中文标题】spark-submit 适用于 Python 程序,但 pyspark 不起作用【英文标题】:spark-submit working for Python Programs but pyspark doesn't work 【发布时间】:2016-05-06 20:29:31 【问题描述】:

很明显,我最近在 UBUNTU(VMWARE 工作站)上安装了 SPARK。以下是我的 PC 规格。

Windows 戴尔笔记本电脑(运行 Windows 10)。

安装了 VMWARE PRO 12 并在其上加载了 Ubuntu 15。 使用标准脚本安装了 SPARK 1.6.1 / JAVA 1.7 / Python 2.7 和 SCALA 2.11.8。

我使用 spark submit 命令运行了一个示例程序,它可以正常完成。但是当我尝试登录 pyspark shell 时,我收到错误消息“pyspark:找不到命令”

似乎是什么问题。我可以看到 spark 的 bin 目录中的所有文件(pyspark 和 spark-submit)。

问候 VVSAUCSE

【问题讨论】:

【参考方案1】:

不确定这是否是它的工作方式,带有命令名称的完整路径可以正常工作。很抱歉没有早点知道或尝试一下。

/SparkPath/bin/pyspark 工作正常,而不仅仅是 pyspark

【讨论】:

以上是关于spark-submit 适用于 Python 程序,但 pyspark 不起作用的主要内容,如果未能解决你的问题,请参考以下文章

spark-submit提交python脚本过程记录

为啥此 python 代码在 pyspark 中有效,但在 spark-submit 中无效?

iTunes Connect 促销代码和应用程​​序更新

python 协程

在 AWS EMR 中使用 spark-submit 启动 Python 应用程序

spark-submit 执行scala代码