需要从 AWS GLUE 作业调用存储过程

Posted

技术标签:

【中文标题】需要从 AWS GLUE 作业调用存储过程【英文标题】:Need to call a stored procedure from an AWS GLUE job 【发布时间】:2020-08-19 20:44:39 【问题描述】:

我想运行 GLUE 作业并启动存储过程代码。我有一个 SQL 存储过程,并想在 GLUE 作业的自动生成的 pyspark 代码中调用它。如果可以帮助的话,我不想使用红移或雪花或类似的东西。有什么想法吗?

【问题讨论】:

你能定义你所说的存储过程是什么意思吗?粘合作业只是 Python 代码,因此只要“存储过程”是 Python 代码,它就可以成为粘合作业的一部分。 sp写成SQL查询。 【参考方案1】:

AWS GLUE 实际上运行的是 Python 代码。您可以将您的逻辑放入 python 代码中并将其输入到 AWS 控制台上。请看下面的截图

【讨论】:

如果我包含自动生成的代码,我会在其中的某处输入 sp 代码吗?即在实际脚本中插入CREATE PROCEDURE...END

以上是关于需要从 AWS GLUE 作业调用存储过程的主要内容,如果未能解决你的问题,请参考以下文章

Python Glue 作业 - 雪花存储过程未返回确切的错误消息

通过 AWS Glue 执行 Redshift 过程

在运行 AWS Glue ETL 作业并命名输出文件名时,有没有办法从 S3 存储桶中读取文件名。 pyspark 是不是提供了一种方法来做到这一点?

从aws glue pyspark作业中的s3加载JSON

SMTP:邮件未通过 AWS Glue Python 作业发送

AWS Glue ETL作业缺少对爬网程序可见的字段