如何将 CDC 加载到 Redshift 数据库中?

Posted

技术标签:

【中文标题】如何将 CDC 加载到 Redshift 数据库中?【英文标题】:How to load CDC into Redshift database? 【发布时间】:2018-01-19 10:08:27 【问题描述】:

谁能告诉我在 Redshift 中使用 SQL 的 CDC /增量加载方法?

我知道一种方法 upsert 但除此之外还有另一种方法可以执行,例如插入后删除等。

【问题讨论】:

是的...插入+删除+更新与合并相同。您有具体问题吗? 是的...我想知道使用 sql 将增量数据加载到 redshift 的所有方法,我想知道如何避免重复? 这个网站不是关于为你做研究的人。这个网站是关于你尝试一些事情并返回一个特定的问题。 好的,谢谢...我会检查... 【参考方案1】:

Redshift 不支持 SQL 中的 UPSERTMERGE,但我们在文档中有一些数据合并示例: https://docs.aws.amazon.com/redshift/latest/dg/merge-examples.html

请记住,您可以在事务中使用这些模式,以便在出现故障时回滚。

【讨论】:

以上是关于如何将 CDC 加载到 Redshift 数据库中?的主要内容,如果未能解决你的问题,请参考以下文章

如何将拆分的 gzip 文件中的数据加载到 redshift 中?

如何从自定义 REST API 将数据加载到 Redshift

如何将镶木地板格式的特定列加载到 Redshift 光谱中?

将数据从 PySpark 加载到 Redshift 时如何执行列编码

使用 COPY 功能自动将数据加载到 Redshift

如何使用无服务器架构将数据从 S3 加载到 Redshift?