哪些 CloudWatch 事件会触发 Glue 作业启动?
Posted
技术标签:
【中文标题】哪些 CloudWatch 事件会触发 Glue 作业启动?【英文标题】:What CloudWatch events will trigger a Glue job to start? 【发布时间】:2018-08-10 17:44:36 【问题描述】:我有一系列 Glue 作业,它们依赖于 S3 中的数据,这些数据由单独的 DMS 作业转储到那里。我有从 EC2 实例上的 cron 作业运行的 DMS 作业。 Glue 的所有触发功能似乎只与 Glue 作业有关。是否存在会触发 Glue 作业的 CloudWatch 事件?我知道我可以让 CloudWatch 识别 DMS 何时成功完成,如果我可以让 CloudWatch 触发 Glue 作业,我将能够将它们串在一起。
【问题讨论】:
【参考方案1】:目前 CloudWatch 不支持将 AWS Glue 作业作为 target for Rules。
或者你也可以setup a Rule to trigger Lambda on the DMS event start an ETL job by calling Glue API
【讨论】:
以上是关于哪些 CloudWatch 事件会触发 Glue 作业启动?的主要内容,如果未能解决你的问题,请参考以下文章
将文件上传到 S3 存储桶后,AWS Glue Crawler 的基于事件的触发器?
Terraform 多个 cloudwatch 事件触发相同的 lambda 函数
多个 cloudwatch 事件规则可以触发 aws 目标吗