ipython 未被识别为内部或外部命令 (pyspark)

Posted 2023-04-15

【中文标题】ipython 未被识别为内部或外部命令 (pyspark)

【英文标题】：ipython is not recognized as an internal or external command (pyspark)

【发布时间】：2017-11-18 09:33:57

【问题描述】：

我已安装 spark 发行版：spark-2.2.0-bin-hadoop2.7。

我正在使用Windows 10 操作系统

我的java版本1.8.0_144

我已经设置了我的环境变量：

SPARK_HOME D:\spark-2.2.0-bin-hadoop2.7

HADOOP_HOME D:\Hadoop ( where I put bin\winutils.exe )

PYSPARK_DRIVER_PYTHON ipython

PYSPARK_DRIVER_PYTHON_OPTS notebook

路径是D:\spark-2.2.0-bin-hadoop2.7\bin

当我从命令行启动 pyspark 时，出现以下错误：

ipython is not recognized as an internal or external command

我也尝试在jupyter 中设置PYSPARK_DRIVER_PYTHON，但它给了我同样的错误（不被识别为内部或外部命令）。

有什么帮助吗？

【问题讨论】：

您确定在您的机器上安装了jupyter 和ipython？

【参考方案1】：

在您的机器中搜索 ipython 应用程序，在我的情况下，它位于“c:\Anaconda3\Scripts”中。然后只需将该路径添加到 PATH 环境变量中

【讨论】：

C:\Users\user1\Anaconda3\Scripts

【参考方案2】：

在安装了 Anaconda 的 Windows 10 上，请使用 Anaconda 提示符而不是 windows cmd 和启动，使用以下命令的 jupyter notebook

  pyspark --master local[2]

请确保上述所有配置均已完成。

【参考方案3】：

在 Windows 10 上，我通过在 Anaconda 中手动添加路径来解决 - Windows Powershell：

$env:Path += ";path\to\spark\bin"

“setx”等其他命令或其他命令对我不起作用。

编辑：每次我启动 Anaconda 提示符时，我都需要再次运行上面的命令。一旦我设法使这个解决方案“确定”，我就会编辑我的答案。 最后，我还需要将 Path 添加到 scala 以使其与 Jupyter Notebook 一起使用，具体如下：

$env:Path += ";C:\Program Files (x86)\scala\bin"