Oozie - 从 Hive 操作中捕获输出

Posted

技术标签:

【中文标题】Oozie - 从 Hive 操作中捕获输出【英文标题】:Oozie - Capture Output from Hive Action 【发布时间】:2015-10-25 03:01:11 【问题描述】:

在 Oozie 中,我们如何捕获第一个 Hive Action 的输出,以便在后续 Hive Action 中进一步使用?

【问题讨论】:

【参考方案1】:

假设您有两个 Hive 表 A 和 B。在这里,您正在对表 A 的数据执行一些转换,并希望将数据存储在表 B 中。为此,您的表 B 应定义为元存储中的外部表。 Oozie 工作流将在表 A 中执行转换查询,其输出将作为表 B 的源存储在表 B 的表定义中定义的同一目录中。

【讨论】:

以上是关于Oozie - 从 Hive 操作中捕获输出的主要内容,如果未能解决你的问题,请参考以下文章

Oozie 工作流配置单元操作卡在 RUNNING 中

SerDe 上的 Oozie Hive 操作失败

OOZIE HIVE 操作 - workflow.xml 属性不会传递给子任务

oozie的shell-action中加入hive脚本命令启动执行shell同时操作hive,抛异常Container killed on request. Exit code is 143 Cont

是否可以将一个 oozie 操作的输出用于其他操作,而无需从 hdfs 保存和加载?子工作流选项在这方面有用吗?

Hive中如何添加自定义UDF函数以及oozie中使用hive的自定义函数