将数据从 Azure SQL 数据库实时复制到 Synapse

Posted 2023-02-19

【中文标题】将数据从 Azure SQL 数据库实时复制到 Synapse

【英文标题】：Realtime replication of data from Azure SQL database to Synapse

【发布时间】：2021-04-10 06:21:38

【问题描述】：

我有几个 Azure SQL 数据库正在生产中，并希望将数据近乎实时地复制到 Synapse SQL 池。原因是我必须从生产数据库中卸载一些分析工作并减少生产数据库的整体负载。

我目前在 ADF 中有一个管道，其中包含增量表和一个移动数据的翻转窗口。这很好用，但我需要让它更接近实时。

你们中的任何人都有将数据从 Azure SQL Servert 近乎实时地移动到 Synapse SQL 池的经验吗？

有没有类似 Cosmos HTAP 的东西？

【问题讨论】：

你考虑过数据同步吗？

您是指 AWS 数据同步吗？我目前被锁定在 Azure，因此 AWS 产品不会成为解决方案。

嗨@AlbianAndy，如果我的回答对你有帮助，希望你能接受它作为答案（点击答案旁边的复选标记，将其从灰色切换为已填充。）。这对其他社区成员可能是有益的。谢谢。

【参考方案1】：

实际上，没有从 Azure SQL 数据库到 Synapse SQL 池的实时 Data Sync 工具或服务。

由于您目前在 ADF 中有一条管道，其中包含增量表和一个移动数据的滚动窗口。您有两种最接近实时的方式：

创建一个Schedule trigger（每5分钟）运行管道进行复制 近乎实时的数据到 Synapse SQL 池。

创建一个Logic app trigger: When an item is modified 来收听 Azure SQL 数据库表，当表数据被修改时，添加一个动作“Get a pipeline run”来调用你的数据工厂管道将数据复制到 Synapse SQL 池。

HTH。

【参考方案2】：

您可以使用自定义代码实现此功能，但当需要（接近）实时性时，Azure 数据工厂并不是最佳选择。 Microsoft 已宣布针对 Azure SQL 数据库的 Azure Synapse Link 计划，它将帮助您获得从 DB 到 Synapse 的（近）实时复制。这将非常适合您的需求。 20 年 12 月 3 日，Purview 和 Synapse 新功能 GA 发布在“使用 Azure 数据和分析塑造您的未来”活动中宣布了该公告。

如果可以选择等待一段时间，我建议等待 Microsoft 对此进行更新。公共预览版的可用性尚未公布。敬请期待！