Azure Synapse Analytics 版本控制

Posted

技术标签:

【中文标题】Azure Synapse Analytics 版本控制【英文标题】:Azure Synapse Analytics version control 【发布时间】:2020-09-05 13:14:25 【问题描述】:

我之前使用Liquibase 和Flyway 进行RDBM 版本控制。我看到 Flyway has support of Snowflake,所以可以将版本控制与 MPP 数据仓库一起使用。

Azure Synapse Analytics 是否有任何版本控制解决方案?什么被认为是最好的方法?

我找不到任何直接支持 Azure Synapse Analytics 的版本控制解决方案。 Liquibase 具有 SQL Server 支持和关于“其他数据库”的概念,但我仍然不确定 - 将 Liquibase 用于 Synapse Analytics 有多明智?它会起作用吗?有多少问题?

目前我看到了Visual Studio 2019 integration 文档。但是我无法从提供的文档中了解 VS 2019 是否会为我管理架构更新和回滚。还有一部分团队使用 Macbooks - 意味着不支持 Visual Studio。目前我们正在通过 Terraform 进行 sql 脚本的部署,并准备实现自定义版本控制解决方案。

【问题讨论】:

我无法让 Liquibase 与 Synapse 一起使用,因为 Synapse 不允许主键,而创建的 Liquibase 表需要它们。 【参考方案1】:

您可以尝试使用 liquibase 和 mssql,因为 Azure Synapse Analytics 应该与 TSQL 部分和连接详细信息兼容。

如果您仍然面临任何不同的行为,您可以在 github repository 中的 MSSQLDatabase 处扩展并更改 Azure Synapse Analytics 特定部分。

【讨论】:

感谢您的回答!目前我们将尝试 Visual Studio,因为它已经集成在 Azure Devops 中。将提供更新... 太棒了 - 如果它有效,请告诉我结果 当然,我想我会在 2-4 周内得到结果 嘿@VB_ - Visual Studio 中的最新进展?【参考方案2】:

我最近在 GitHub 和 Git(Azure DevOps) repos 上将 VS(SSDT) 用于 SQL 专用池 (SQL DW) 数据库项目。 Azure DevOps 中还支持 CI/CD 管道。 (https://docs.microsoft.com/en-us/azure/synapse-analytics/sql-data-warehouse/sql-data-warehouse-query-visual-studio)

【讨论】:

以上是关于Azure Synapse Analytics 版本控制的主要内容,如果未能解决你的问题,请参考以下文章

Azure Synapse Analytics监控行组跳转。

从 Node.js 函数访问 Azure Synapse Analytics

无法在 Azure Synapse Analytics 中创建表

从 Azure Synapse Analytics Spark Pool 连接到 Azure SQL 数据库

Azure 数据资源管理器与 Azure Synapse Analytics(又名 SQL DW)

Azure Synapse Analytics 是不是支持 R 语言?