哪些 CloudWatch 事件会触发 Glue 作业启动?

Posted

技术标签:

【中文标题】哪些 CloudWatch 事件会触发 Glue 作业启动?【英文标题】:What CloudWatch events will trigger a Glue job to start? 【发布时间】:2018-08-10 17:44:36 【问题描述】:

我有一系列 Glue 作业,它们依赖于 S3 中的数据,这些数据由单独的 DMS 作业转储到那里。我有从 EC2 实例上的 cron 作业运行的 DMS 作业。 Glue 的所有触发功能似乎只与 Glue 作业有关。是否存在会触发 Glue 作业的 CloudWatch 事件?我知道我可以让 CloudWatch 识别 DMS 何时成功完成,如果我可以让 CloudWatch 触发 Glue 作业,我将能够将它们串在一起。

【问题讨论】:

【参考方案1】:

目前 CloudWatch 不支持将 AWS Glue 作业作为 target for Rules。

或者你也可以setup a Rule to trigger Lambda on the DMS event start an ETL job by calling Glue API

【讨论】:

以上是关于哪些 CloudWatch 事件会触发 Glue 作业启动?的主要内容,如果未能解决你的问题,请参考以下文章

手动触发 AWS CloudWatch 事件

将文件上传到 S3 存储桶后,AWS Glue Crawler 的基于事件的触发器?

Terraform 多个 cloudwatch 事件触发相同的 lambda 函数

多个 cloudwatch 事件规则可以触发 aws 目标吗

AWS Cloudwatch/Lambda - 计划事件触发太频繁

Cloudwatch 指标过滤器看到事件,但没有触发警报