当我使用内联 sql 魔术时，jupyter notebook pyspark sparkmagic 错误

Posted 2023-04-15

【中文标题】当我使用内联 sql 魔术时，jupyter notebook pyspark sparkmagic 错误

【英文标题】：jupyter notebook pyspark sparkmagic error when I use inline sql magic

【发布时间】：2019-10-24 14:29:20

【问题描述】：

我已经在 jupyter notebook 中成功配置了 PySpark 内核，我还安装了 SparkMagic。 当我尝试使用以下命令时：

%%sql
SELECT DepDelay, ArrDelay FROM flightData

它开始工作，突然 Spark 停止抛出以下错误：

遇到错误：来自无效的状态代码“400” http://localhost:8998/sessions/0/statements/4 带有错误有效负载： "msg":"要求失败：会话未激活。"

您可以在此处找到完整的日志文件以下载并查看。 https://drive.google.com/open?id=1lvYqQBUCiIFp4lz3aVnzMgBNd9fzqJiz

感谢您的帮助。 非常感谢提前

【问题讨论】：

在运行此行之前，您确定连接已建立，如果没有尝试 spark.applicationID

其他一切正常，例如：下一行，所以我猜应用程序正在运行。 data.createOrReplaceTempView("flightData") spark.sql("SELECT DayOfWeek, AVG(ArrDelay) AS AvgDelay FROM flightData GROUP BY DayOfWeek ORDER BY DayOfWeek").show()

【参考方案1】：

像这样在一行中尝试

%sql SELECTDepDelay, ArrDelay FROM flightData

【讨论】：

这确实有效，但是，我在数据框中加载了较少数量的行并且命令“%%sql”有效，所以我猜它与我的电脑资源有关，是否有任何配置能做到吗？