在哪里进行连接以展平表..？蜂巢或甲骨文

Posted 2023-04-18

【中文标题】在哪里进行连接以展平表..？蜂巢或甲骨文

【英文标题】：Where to do a join to flatten table..? Hive or Oracle

【发布时间】：2014-01-15 10:05:00

【问题描述】：

我在 oracle 中有 7 个规范化表，我需要将它们展平（一些列，而不是全部）以处理 map-reduce 作业。现在我有 2 个选择 - 一个是在 oracle 中进行连接并使用 sqoop 将连接的表导入 hdfs。或者一一导入表，然后使用 hive 本身进行连接。

这两种方法有什么区别，优点还是缺点？

谢谢。

【参考方案1】：

我对 oracle 和 hive 都很满意。在这种情况下，在 oracle 中完成连接似乎是合理的。您可以确保所有移动部件同步且可用。

您也可以考虑创建一个包含连接的 oracle 视图。然后，您可以更可重复地验证各种表的内容并将其提取到您的单个非规范化表中。