安装 Spark 问题。无法使用 pyspark 打开 IPython Notebook

Posted 2023-04-15

【中文标题】安装 Spark 问题。无法使用 pyspark 打开 IPython Notebook

【英文标题】：install Spark issue. Cannot open IPython Notebook with pyspark

【发布时间】：2015-02-01 17:06:58

【问题描述】：

这里是错误链接：http://i.imgur.com/N9ccVsM.jpg

我正在尝试独立安装 spark 工作，但出现此错误。我将环境变量中的 JAVA_HOME 设置为“C:\Program Files (x86)\Java\jre1.8.0_31”。

我输入 pyspark 后，ipthon notebook 应该会在新标签页中打开，但它没有。

似乎找不到带有“笔记本”的东西，但不确定

谢谢 马特

【问题讨论】：

Windows 是一场灾难。在VM 上安装ubuntu server 并从那里运行Spark/IPython。它会让你的生活没有压力。

【参考方案1】：

花费 2.5 小时后，问题被设置为 IPYTHON_OPTS="notebook" 应该是 IPYTHON_OPTS=notebook。没有引号。

【讨论】：

我无法在我的笔记本上运行 pyspark。当我运行以下命令时：IPYTHON_OPTS=notebook ./bin/pyspark，它说 IPYTHON_OPTS 未被识别为内部或外部命令

【参考方案2】：

由于你一直在Window中执行，你需要先设置IPYTHON_OPTS变量，然后执行命令启动pyspark

设置 IPYTHON_OPTS=notebook

./bin/pyspark

【参考方案3】：

我也试过这种方法；它行不通。我在 Windows 10 和 7 上成功使用了以下内容，使用 Enthought Canopy 作为我的 IDE 和 IPython 笔记本。

第 1 步。检查 Python 和 Spark 的环境变量。可以直接从命令提示符启动 pyspark 吗？

第 2 步。启动 Python（或 IPython）

第 3 步。使用（并根据您的机器调整）以下代码：

import os

import sys

spark_home = os.environ.get('SPARK_HOME', None)

if not spark_home:

raise ValueError('SPARK_HOME environment variable is not set')

sys.path.insert(0, os.path.join(spark_home, 'python'))

sys.path.insert(0, os.path.join(spark_home, 'C:/spark-1.6.0-bin-hadoop2.6/python/lib/py4j-0.9-src.zip'))

execfile(os.path.join(spark_home, 'python/pyspark/shell.py'))

如果您按照我的步骤进行操作，您应该可以启动并运行 spark。

pyspark