spark-submit 适用于 Python 程序,但 pyspark 不起作用
Posted
技术标签:
【中文标题】spark-submit 适用于 Python 程序,但 pyspark 不起作用【英文标题】:spark-submit working for Python Programs but pyspark doesn't work 【发布时间】:2016-05-06 20:29:31 【问题描述】:很明显,我最近在 UBUNTU(VMWARE 工作站)上安装了 SPARK。以下是我的 PC 规格。
Windows 戴尔笔记本电脑(运行 Windows 10)。
安装了 VMWARE PRO 12 并在其上加载了 Ubuntu 15。 使用标准脚本安装了 SPARK 1.6.1 / JAVA 1.7 / Python 2.7 和 SCALA 2.11.8。
我使用 spark submit 命令运行了一个示例程序,它可以正常完成。但是当我尝试登录 pyspark shell 时,我收到错误消息“pyspark:找不到命令”
似乎是什么问题。我可以看到 spark 的 bin 目录中的所有文件(pyspark 和 spark-submit)。
问候 VVSAUCSE
【问题讨论】:
【参考方案1】:不确定这是否是它的工作方式,带有命令名称的完整路径可以正常工作。很抱歉没有早点知道或尝试一下。
/SparkPath/bin/pyspark 工作正常,而不仅仅是 pyspark
【讨论】:
以上是关于spark-submit 适用于 Python 程序,但 pyspark 不起作用的主要内容,如果未能解决你的问题,请参考以下文章
为啥此 python 代码在 pyspark 中有效,但在 spark-submit 中无效?