为啥在 sagemaker 笔记本中导入 SparkContext 库时出现错误？

Posted 2023-04-15

【中文标题】为啥在 sagemaker 笔记本中导入 SparkContext 库时出现错误？

【英文标题】：Why am I getting error while importing SparkContext library in sagemaker notebook?为什么在 sagemaker 笔记本中导入 SparkContext 库时出现错误？

【发布时间】：2020-01-13 06:47:05

【问题描述】：

我在 AWS Glue 中使用 SageMaker Notebook 进行 ETL 开发。

在导入 SparkContext 库时，我收到以下错误。我试图重新启动内核，但没有成功。有人可以解释一下“a”点吗？

代码因致命错误而失败：发送 http 请求时出错 和遇到的最大重试次数..*

一些尝试：

一个。确保 Spark 有足够的可用资源供 Jupyter 使用 创建一个 Spark 上下文。

b.请联系您的 Jupyter 管理员以确保 Spark 魔法 库配置正确。

c。重启内核。

以下几点需要注意：

我正在从 AWS 控制台 > AWS Glue > 开发终端节点 > 笔记本创建 sagemaker 笔记本。

创建的开发端点的 VPC、子网和安全组与连接的 RDS 相同 应该做的。在创建开发端点时，在网络中 page 我从连接列表中选择一个现有连接 在下拉菜单中可用，以便 VPC、子网和安全组 自动选择。

我已将 DPU 从 5 增加到 10 但仍然收到此错误。 无法达到我可以达到的步骤 创建到 RDS 的连接，因为在调用 图书馆。 如果我在创建开发端时跳过网络信息 点我可以成功调用所有相关库 （附截图）。 （连接时不建议使用 RDS，因为它不起作用）。

因此，只有在提供连接时才会出现此错误（“代码失败，因为...”）。

如果有人可以帮助解决此问题，将会很有帮助。

【参考方案1】：

想知道您对 Livy 端点的配置是否有效？ Livy 在 8998 端口上运行。您应该检查该端口是否在安全组中打开。

这可能有用：https://aws.amazon.com/blogs/machine-learning/build-amazon-sagemaker-notebooks-backed-by-spark-in-amazon-emr/

另外，如果这没有帮助，您应该尝试停止并重新启动笔记本电脑一次。这在过去有所帮助。

【讨论】：

感谢 Urvashi。将检查端口是否在安全组中打开。

另外，在文章中创建了一个 EMR 集群，在 SageMaker 中创建了一个笔记本实例，然后将笔记本连接到 EMR。就我而言，我正在从 AWS Glue 服务（托管服务并集成在 AWS Glue 中）创建 Sagemaker 笔记本实例。那么，我还需要创建 EMR 集群吗？

抱歉迟到了。谢谢，将端口8998添加到安全组中的custome tcp规则。它奏效了。