从窗口服务器 2008 上的 spark shell 命令调用 spark 时出错

Posted 2023-04-15

【中文标题】从窗口服务器 2008 上的 spark shell 命令调用 spark 时出错

【英文标题】：Error Calling spark from spark shell command on window server 2008

【发布时间】：2019-09-13 11:11:06

【问题描述】：

我正在我的机器上安装 spark - Window server 2008r2。 我已按照以下步骤操作。

安装 JDK

添加到环境变量

将 winutil 添加为 Env 中的 Hadoop_Home。变量 下载 Spark 并将环境变量配置为 SPARK_HOME

我还没有安装 scala。

当我尝试从命令行调用 spark 时出现错误。

在此处输入图片说明

请帮助我如何解决这个问题。我在这台服务器上有管理员帐户，我在系统变量中设置了路径。

【参考方案1】：

问题可能是因为JAVA_HOME 路径后面的\bin。 Spark 对此有疑问。删除JAVA_HOME 之后的\bin 并运行spark-shell 命令。它应该可以工作。

【讨论】：

非常感谢阿德里安，我确实喜欢 %JAVA_HOME%;%SPARK_HOME%/bin.... 但仍然是同样的问题。我在做系统属性。如果我做错了什么，请帮助我

请有任何建议。

您是否遇到与上述相同的错误？您可以从 /spark/bin 文件夹而不是 /spark 文件夹运行 spark-shell 命令并检查吗？

我喜欢这个。 cd spark/bin 然后 spark-shell 但仍然出现错误，因为系统找不到指定的路径。我已经在系统变量下配置了所有的env.variable，是不是这个原因，不确定

这就是我的环境。变量是：%JAVA_HOME%; %SPARK_HOME%\bin。请建议我是否需要进行任何更改