雪花 Python 连接器未与 AWS 胶水 Python 外壳连接

Posted

技术标签:

【中文标题】雪花 Python 连接器未与 AWS 胶水 Python 外壳连接【英文标题】:Snowflake Python connector not connecting with AWS glue python shell 【发布时间】:2020-11-06 20:28:27 【问题描述】:

我正在尝试使用 Glue python shell 连接到雪花。我遵循了以下文档https://community.snowflake.com/s/article/How-to-create-a-AWS-Glue-Job-in-Python-Shell-using-Wheel-and-Egg-files。

但是 python shell 无法导入雪花库。可以指出我可能出错的地方吗?

【问题讨论】:

你能用你遇到的错误更新你的问题吗?还要确认用于 Glue 作业的角色是否对 S3 上的雪花包具有读取权限? 作业在“导入雪花”时失败,无法找到雪花包。我通过创建 .whl 和 .egg 尝试使用另一个 python 包,以及在 AWS 胶水 python shell 作业中导入的自定义包。 【参考方案1】:

您需要为此创建一个 .whl 或 .egg 文件。 请关注我的博客。我已经记录了所有步骤:

https://community.snowflake.com/s/article/AWS-Glue-Job-in-Python-Shell-using-Wheel-and-Egg-files

【讨论】:

以上是关于雪花 Python 连接器未与 AWS 胶水 Python 外壳连接的主要内容,如果未能解决你的问题,请参考以下文章

运行 zepplin 连接 aws 胶水时出错

运行 AWS 胶水工作室 ETL 脚本时出现 ARN 角色授权错误

Python Glue 作业 - 雪花存储过程未返回确切的错误消息

无法在 AWS 胶水中建立 Redshift 连接,其中 Redshift 位于不同的位置 (us-west-1)

AWS Glue Python shell 配置 DPU

雪花:SQL 访问控制错误:权限不足,无法对架构进行操作