Hive Joins 可以在 Apache Nifi 中实现吗?

Posted

技术标签:

【中文标题】Hive Joins 可以在 Apache Nifi 中实现吗?【英文标题】:Can Hive Joins be implemented in Apache Nifi? 【发布时间】:2019-05-27 11:49:10 【问题描述】:

我需要从 Apache Nifi 实现 Hive 联接。

我在 Apache nifi 中找到了 PutHiveQLPutHiveStreamingSelectHiveQL 处理器,但找不到任何有关 Hive Joins 实现的用例。

【问题讨论】:

你在问cwiki.apache.org/confluence/display/Hive/LanguageManual+Joins 是的@daggett,它们可以通过 Nifi 使用吗? 只需将您的查询放在SelectHiveQL HiveQL Select Query 参数中 【参考方案1】:

如果您希望在 Hive 中加入查询,您可以像往常一样将这些处理器与您的加入查询语句一起使用。

但是,如果您希望使用不同的常规查询,然后在 NiFi 中加入它们,我会发现这相当困难(但可以使用 MergeRecord 或 MergeContent),因为 NiFi 并不是完全为加入查询而构建的。

【讨论】:

以上是关于Hive Joins 可以在 Apache Nifi 中实现吗?的主要内容,如果未能解决你的问题,请参考以下文章

hive sql 将两张表连接成为第三张表

Erlang NIF 奇怪的 iolist 行为

将 Apache 超集与 Hive 连接起来

Apache Hive入门:模拟实现Hive功能Hive架构 组件

在 Windows 上使用 rebar 编译 NIF 项目

如何在 Apache Spark 中添加 Hive 支持? [复制]