Azure Synapse 中的 Hive

Posted 2023-03-25

技术标签:

【中文标题】Azure Synapse 中的 Hive【英文标题】：Hive in Azure Synapse 【发布时间】：2021-12-29 22:37:54 【问题描述】：

我们有在本地 Hadoop 集群上运行的 scala Jar 文件。它在 parquet 文件上创建 hive 表，并在 hive 表上进行进一步的 spark 处理。

我可以知道您对如何在突触火花池中运行这种基于蜂巢的火花处理的建议吗？如果可能，不改变我们的代码？

【问题讨论】：

【参考方案1】：

目前，Spark 仅适用于外部 Hive 表和非事务/非 ACID 管理的 Hive 表。它现在不支持 Hive ACID/事务表。

更多详情请参考Use external Hive Metastore for Synapse Spark Pool (Preview）

【讨论】：

以上是关于Azure Synapse 中的 Hive的主要内容，如果未能解决你的问题，请参考以下文章