AWS Glue Sagemaker 笔记本“没有名为 awsglue.transforms 的模块”

Posted 2023-04-15

技术标签:

【中文标题】AWS Glue Sagemaker 笔记本“没有名为 awsglue.transforms 的模块”【英文标题】：AWS Glue Sagemaker Notebook "No module named awsglue.transforms" 【发布时间】：2019-10-04 13:50:38 【问题描述】：

我创建了一个 Sagemaker 笔记本来开发 AWS Glue 作业，但是在运行提供的示例（“使用 AWS Glue 加入、过滤和加载关系数据”）时，我收到以下错误：

有谁知道我设置错误/没有设置导致导入不起作用？

【问题讨论】：

【参考方案1】：

我遇到了同样的问题，所选的解决方案对我不起作用。

我确实设法通过使用云形成 (AWS::Glue::DevEndpoint) 开始工作。通过反复试验，我注意到您不能同时指定 NumberOfNodes 和 NumberOfWorkers。您必须指定其中一个。

使用 NumberOfNodes: 5 导致与问题中指定的完全相同的错误。但是使用第二个选项效果很好。

总而言之，要修复此错误，您可以使用 CloudFormation 并确保使用 NumberOfWorkers 属性。

【讨论】：

【参考方案2】：

对于 Glue 0.9，您需要从 here 下载库文件，对于 Glue 1.0，您需要从 here 下载库文件（检查您的 Glue 作业以获取版本）。

将 zip 放入 S3 并在您的 Dev Endpoint 上的“Python 库路径”中引用它。