Matillion for Amazon Redshift 支持作业监控

Posted 2023-03-31

【中文标题】Matillion for Amazon Redshift 支持作业监控

【英文标题】：Matillion for Amazon Redshift support for job monitoring

【发布时间】：2017-07-14 17:00:37

【问题描述】：

我正在为 Redshift 开发 Amazon Matillion，我们每天都有多个由 SQS 消息触发的作业。现在我正在检查为利益相关者创建 UI 仪表板的可能性，该仪表板将监控工作的实时进度并显示以前工作的报告，如工作名称、受影响的表、工作状态/失败原因等。Matillion 是否维护此类信息隐含的？否则我将不得不为每项工作维护这些信息。

【参考方案1】：

Matillion 有一个 API，您可以使用它来获取所有任务历史记录的详细信息。有关任务 API 的信息在这里： https://redshiftsupport.matillion.com/customer/en/portal/articles/2720083-loading-task-information?b_id=8915

您可以使用它来将当前正在运行的作业或已完成的作业的数据提取到组件级别，包括作业名称、组件名称、运行时间、是否成功运行以及任何适用的错误消息。

可以使用内置于产品和 API 查询组件中的 Matillion API 配置文件将这些信息提取到 Redshift 表中。然后，您可以在此表之上构建您的仪表板。有关更多信息，我建议您通过他们的支持中心联系 Matillion。

【参考方案2】：

API 很有帮助，但您只能将日期作为参数传递（这适用于雪花的 Matillion，假设 Redshift 也是如此）。我已经请求能够传递一个日期时间，这样我们就可以全天运行这些作业，而不是每次我们的 API 调用运行时都拉回相同的记录集。