雪花 Python 连接器未与 AWS 胶水 Python 外壳连接
Posted
技术标签:
【中文标题】雪花 Python 连接器未与 AWS 胶水 Python 外壳连接【英文标题】:Snowflake Python connector not connecting with AWS glue python shell 【发布时间】:2020-11-06 20:28:27 【问题描述】:我正在尝试使用 Glue python shell 连接到雪花。我遵循了以下文档https://community.snowflake.com/s/article/How-to-create-a-AWS-Glue-Job-in-Python-Shell-using-Wheel-and-Egg-files。
但是 python shell 无法导入雪花库。可以指出我可能出错的地方吗?
【问题讨论】:
你能用你遇到的错误更新你的问题吗?还要确认用于 Glue 作业的角色是否对 S3 上的雪花包具有读取权限? 作业在“导入雪花”时失败,无法找到雪花包。我通过创建 .whl 和 .egg 尝试使用另一个 python 包,以及在 AWS 胶水 python shell 作业中导入的自定义包。 【参考方案1】:您需要为此创建一个 .whl 或 .egg 文件。 请关注我的博客。我已经记录了所有步骤:
https://community.snowflake.com/s/article/AWS-Glue-Job-in-Python-Shell-using-Wheel-and-Egg-files
【讨论】:
以上是关于雪花 Python 连接器未与 AWS 胶水 Python 外壳连接的主要内容,如果未能解决你的问题,请参考以下文章
运行 AWS 胶水工作室 ETL 脚本时出现 ARN 角色授权错误
Python Glue 作业 - 雪花存储过程未返回确切的错误消息