无法访问 EMR 集群 jupyter notebook 中的 pyspark

Posted 2023-04-15

【中文标题】无法访问 EMR 集群 jupyter notebook 中的 pyspark

【英文标题】：Cannot access pyspark in EMR cluster jupyter notebook

【发布时间】：2019-12-16 21:41:59

【问题描述】：

我在 EMR 上创建了一个 spark 集群。 但是当我用笔记本打开它时，我无法访问 pyspark。

配置：

示例：

from pyspark import SparkContext

我也无法访问 sc，我之前的印象是可用。

sc.list_packages()

NameError: 名称 'sc' 未定义

我觉得我在这里遗漏了一些非常基本的东西，但我对 EMR 完全陌生，并且已经花了很多时间。

我有什么想法可以尝试调试吗？

【问题讨论】：

我看不到你的图片，但我认为这应该回答你的问题：***.com/a/48762187/5858851（除非你同意，否则不要投票关闭，因为我的 python 徽章会绑定）

【参考方案1】：

当我用“JupyterLab”而不是“Jupyter”打开我的笔记本时，所有库都可用。

【讨论】：

为什么它应该有所作为？