ipython 未被识别为内部或外部命令 (pyspark)
Posted
技术标签:
【中文标题】ipython 未被识别为内部或外部命令 (pyspark)【英文标题】:ipython is not recognized as an internal or external command (pyspark) 【发布时间】:2017-11-18 09:33:57 【问题描述】:我已安装 spark 发行版:spark-2.2.0-bin-hadoop2.7
。
我正在使用Windows 10
操作系统
我的java版本1.8.0_144
我已经设置了我的环境变量:
SPARK_HOME D:\spark-2.2.0-bin-hadoop2.7
HADOOP_HOME D:\Hadoop ( where I put bin\winutils.exe )
PYSPARK_DRIVER_PYTHON ipython
PYSPARK_DRIVER_PYTHON_OPTS notebook
路径是D:\spark-2.2.0-bin-hadoop2.7\bin
当我从命令行启动 pyspark
时,出现以下错误:
ipython is not recognized as an internal or external command
我也尝试在jupyter
中设置PYSPARK_DRIVER_PYTHON
,但它给了我同样的错误(不被识别为内部或外部命令)。
有什么帮助吗?
【问题讨论】:
您确定在您的机器上安装了jupyter
和ipython
?
【参考方案1】:
在您的机器中搜索 ipython 应用程序,在我的情况下,它位于“c:\Anaconda3\Scripts”中。然后只需将该路径添加到 PATH 环境变量中
【讨论】:
C:\Users\user1\Anaconda3\Scripts【参考方案2】:在安装了 Anaconda 的 Windows 10 上,请使用 Anaconda 提示符而不是 windows cmd 和启动,使用以下命令的 jupyter notebook
pyspark --master local[2]
请确保上述所有配置均已完成。
【讨论】:
【参考方案3】:在 Windows 10 上,我通过在 Anaconda 中手动添加路径来解决 - Windows Powershell:
$env:Path += ";path\to\spark\bin"
“setx”等其他命令或其他命令对我不起作用。
编辑:每次我启动 Anaconda 提示符时,我都需要再次运行上面的命令。一旦我设法使这个解决方案“确定”,我就会编辑我的答案。 最后,我还需要将 Path 添加到 scala 以使其与 Jupyter Notebook 一起使用,具体如下:
$env:Path += ";C:\Program Files (x86)\scala\bin"
【讨论】:
以上是关于ipython 未被识别为内部或外部命令 (pyspark)的主要内容,如果未能解决你的问题,请参考以下文章