需要从 AWS GLUE 作业调用存储过程
Posted
技术标签:
【中文标题】需要从 AWS GLUE 作业调用存储过程【英文标题】:Need to call a stored procedure from an AWS GLUE job 【发布时间】:2020-08-19 20:44:39 【问题描述】:我想运行 GLUE 作业并启动存储过程代码。我有一个 SQL 存储过程,并想在 GLUE 作业的自动生成的 pyspark 代码中调用它。如果可以帮助的话,我不想使用红移或雪花或类似的东西。有什么想法吗?
【问题讨论】:
你能定义你所说的存储过程是什么意思吗?粘合作业只是 Python 代码,因此只要“存储过程”是 Python 代码,它就可以成为粘合作业的一部分。 sp写成SQL查询。 【参考方案1】:AWS GLUE 实际上运行的是 Python 代码。您可以将您的逻辑放入 python 代码中并将其输入到 AWS 控制台上。请看下面的截图
【讨论】:
如果我包含自动生成的代码,我会在其中的某处输入 sp 代码吗?即在实际脚本中插入CREATE PROCEDURE...END
?以上是关于需要从 AWS GLUE 作业调用存储过程的主要内容,如果未能解决你的问题,请参考以下文章
Python Glue 作业 - 雪花存储过程未返回确切的错误消息
在运行 AWS Glue ETL 作业并命名输出文件名时,有没有办法从 S3 存储桶中读取文件名。 pyspark 是不是提供了一种方法来做到这一点?