Pyspark:\Anaconda3\envs\xgboost\python.exe] 此时出乎意料

Posted

技术标签:

【中文标题】Pyspark:\\Anaconda3\\envs\\xgboost\\python.exe] 此时出乎意料【英文标题】:Pyspark: \Anaconda3\envs\xgboost\python.exe] was unexpected at this timePyspark:\Anaconda3\envs\xgboost\python.exe] 此时出乎意料 【发布时间】:2018-10-03 18:28:55 【问题描述】:

我正在尝试在 Windows 中安装 Pyspark。

我将 setx 应用于以下内容:

PYSPARK_DRIVER_PYTHON "C:\Users\Sade D\Anaconda3\envs\xgboost\Scripts\jupyter.exe"
HADOOP_HOME "C:\spark\hadoop"
JAVA_HOME "C:\Program Files\Java\jdk1.8.0_172"
PYSPARK_DRIVER_PYTHON_OPTS "notebook"
PYSPARK_PYTHON "C:\Users\Sade D\Anaconda3\envs\xgboost\python.exe"
SCALA_HOME "C:\spark\scala"
SPARK_HOME "C:\spark\spark"
JAVA_HOME "C:\Program Files\Java\jdk1.8.0_172"

在路径中的系统变量中,我附上了以下内容:

C:\Program Files\Java\jdk1.8.0_172\bin
C:\spark\spark\bin
C:\spark\spark\python
C:\spark\spark\python\lib
C:\spark\spark\python\pyspark
C:\spark\spark\python\pyspark\sql
C:\spark\spark\python\pyspark\mllib
C:\spark\spark\python\pyspark\ml
C:\spark\spark\python\lib
C:\spark\scala\bin
C:\Program Files\Java\jdk1.8.0_172\bin\java.exe
C:\Program Files\Java\jdk1.8.0_172\bin

我关注了tutorial。我正在运行 Anaconda python 版本 3.6、Apache Spark 2.3.2、Scala 2.12.7 msi 和 hadoop 2.7。

我在 cmd 行验证了 anaconda、python 和 java 版本。这可确保它正确链接到零件。当我在 cmd 提示符下运行 pyspark 时,我得到一个错误 \Anaconda3\envs\xgboost\python.exe] is unexpected at this time and the system can not find path specified。为了验证路径列表,我将其复制到地址中,以确认它进入正确的文件夹。在一些博客中,该解决方案建议在我已经完成的系统变量中添加其他路径,因此列出的路径比教程中显示的路径多。如何纠正这个错误?

【问题讨论】:

【参考方案1】:

您的文件夹名称中的空格似乎存在问题,尤其是 C:\Users\Sade D 中的空格,您似乎已在其中安装了 Anaconda。

尝试卸载 Anaconda 并将其重新安装到没有任何空格的文件夹中。视频使用C:\ProgramData\Anaconda3(您可以在 5:34 看到):尝试安装到该文件夹​​而不是 C:\Users\Sade D

【讨论】:

我在我的 Windows 上创建了一个额外的帐户并将其添加为管理员帐户,通过这样做我将我的帐户更改为普通系统帐户并点击此链接 groovypost.com/news/… 现在问题已被删除并且重新安装了我的 Anaconda 和附加组件。 @Sade 你能解决这个问题吗?我也面临类似的问题,正在寻找解决方案 @DevarshiMandal - 是的,我做到了,请参考我上面的评论。

以上是关于Pyspark:\Anaconda3\envs\xgboost\python.exe] 此时出乎意料的主要内容,如果未能解决你的问题,请参考以下文章

Pyspark 安装错误:没有名为“pyspark”的模块

Pyspark:将 sql 查询转换为 pyspark?

Pyspark - ImportError:无法从“pyspark”导入名称“SparkContext”

Pyspark:基于所有列减去/差异 pyspark 数据帧

在 PySpark 的两个不同 pyspark.sql.dataframes 中的两列中创建一个 pyspark.sql.dataframe

pyspark:在日期和时间上重新采样 pyspark 数据帧