监控红移中的数据变化

Posted

技术标签:

【中文标题】监控红移中的数据变化【英文标题】:Monitor data change in redshift 【发布时间】:2019-06-21 12:58:18 【问题描述】:

我正在尝试寻找一种工具或方法来存储针对 AWS Redshift 中特定表和列的更新。

在 PostgreSQL 中有一种使用触发器的方法,但 Redshift 不支持这些触发器。

我们可以监控更新语句并存储时间戳、旧值、新值和受影响的表吗?

【问题讨论】:

是的,当然——你必须自己做这个(建立你自己的过程)——你的更新过程需要以某种方式存储更改。如果你解释一下你为什么要这样做,也许你会得到更好的帮助,出于什么原因? 【参考方案1】:

Amazon Redshift 中没有内置功能来进行更改检测。

Amazon Redshift 旨在用作数据仓库,这通常意味着从外部源加载批量信息。数据在 Amazon Redshift 更新应该是相对少见的,因为它不打算用作OLTP database。

因此,最好将变更检测放在源数据库或 ETL 管道中,而不是 Redshift。

【讨论】:

以上是关于监控红移中的数据变化的主要内容,如果未能解决你的问题,请参考以下文章

如何计算红移中的MTD

红移中的正则表达式

胶水加载作业不保留红移中的默认列值

亚马逊红移中的上次更新查询计数

亚马逊红移中的 SQL 正则表达式 substr 函数

红移中的长真空