未找到 Spark Cell 魔法

Posted 2023-04-15

【中文标题】未找到 Spark Cell 魔法

【英文标题】：Spark Cell magic not found

【发布时间】：2017-07-30 11:03:59

【问题描述】：

我有 python2 环境。在带有 jupyter notebook 的 Windows 10 上。

按照本教程中的说明，我设法在 Windows 10 上安装了 spark： https://medium.com/@GalarnykMichael/install-spark-on-windows-pyspark-4498a5d8d66c

但是当我尝试为 SQL 运行单元魔术时，我收到以下错误：

ERROR:root:Cell magic %%sql not found.

当我使用 %lsmagic 时，我在其中找不到 sql 单元魔法。

我还注意到在 Jupyter 中启动新笔记本时没有 pyspark 内核选项。

【参考方案1】：

您是在尝试使用 SQL 还是 Spark-SQL？我用过iPython-SQL，这很棒，还有SparkMagic，听起来像你要找的。尝试安装 SparkMagic，它确实使用了 %%sql 魔法。

【讨论】：

我已经安装了两者，但在尝试执行单元魔法时仍然收到相同的错误消息。

两者都安装可能不是一个好主意，因为它们都使用%%sql 来实现魔法。尝试卸载其中一个。

我卸载了 iPython-SQL 但仍然遇到同样的问题