通过数据管道将错误消息存储到 Redshift

Posted 2023-03-31

【中文标题】通过数据管道将错误消息存储到 Redshift

【英文标题】：Storing error message to Redshift through datapipeline

【发布时间】：2016-04-28 06:07:18

【问题描述】：

我正在尝试通过数据管道在 Redshift 集群中运行 SQL 活动。在 SQL 活动之后，很少有日志需要写入 redshift 中的表 [例如受影响的行数、错误消息（如果有）]。

要求： 如果 sql Activity 成功完成，提到的表将被写入 'error' 列为空， 否则，如果 sql 活动因任何错误而失败，则需要将该特定错误消息更新到 Redshift 表中的“错误”列中。

我们可以通过管道实现这一点吗？如果是，我们怎样才能做到这一点？

谢谢， 拉维。

【问题讨论】：

有没有办法从下一个活动中获取活动中引发的错误？

【参考方案1】：

很遗憾，您不能直接使用 DataPipeline 中的 SqlActivity 执行此操作。解决方法是编写一个 java 程序（或任何可执行文件）来执行您想要的操作，并使用 ShellCommandActivity 通过 Datapipeline 对其进行调度。