将数据从 sql server 增量上传到 Amazon Redshift [关闭]

Posted 2023-03-31

【中文标题】将数据从 sql server 增量上传到 Amazon Redshift [关闭]

【英文标题】：Incremental Upload data from sql server to Amazon Redshift [closed]

【发布时间】：2014-11-19 14:00:36

【问题描述】：

我们的原始数据在 SQL SERVER 中，数据不断增长，增长率很高，我们需要将数据增量加载到 Redshift 进行分析。请您指出一个加载数据的好做法。如何可行SSIS 直接加载到 Redshift（没有 S3）。

【参考方案1】：

在不将数据登陆 S3 的情况下从 SQL Server 加载到 Redshift 是不切实际的。您可以尝试通过 SSH 加载，但 Windows 上的 SSH 当然不支持。

http://docs.aws.amazon.com/redshift/latest/dg/loading-data-from-remote-hosts.html

不久前，我做了一个演示，介绍了我们从 SQL Server 迁移到 Redshift 时的发现。我们发现的一件事是 SSIS 在与 AWS 服务交互方面不是很有用。

http://blog.joeharris76.com/2013/09/migrating-from-sql-server-to-redshift.html

最后，您可以研究一些商业“复制”工具，这些工具可以自动执行从本地数据库增量更新 Redshift 的过程。我听说 Attunity 的好消息。

http://www.attunity.com/products/attunity-cloudbeam/amazon-redshift

【讨论】：

我的想法是我想使用 SSIS 将数据加载到 S3，然后我想将 S3 复制到 Redshift 表。是否有任何开源工具或实现可以将 S3 复制到自动化的 Redshift。

不幸的是，您必须从头开始创建一些东西。我们使用使用xp_cmdshell 从 SQL Server 运行的 CMD 脚本（使用 AWS CLI）。如果您愿意，您可以让 SSIS 运行脚本。但是脚本本身才是艰苦的工作。