在 Oozie 或 pig 运行时重命名文件夹

Posted

技术标签:

【中文标题】在 Oozie 或 pig 运行时重命名文件夹【英文标题】:Renaming folder at runtime in Oozie or pig 【发布时间】:2014-04-24 10:20:43 【问题描述】:

我对 Oozie 和 Pig 还是陌生的。谁能告诉我如何在运行时使用 Oozie 或 Pig 重命名文件夹。 我有一个猪脚本,它从输入文件夹中读取数据,然后将输出写入输出文件夹。流程是使用 Oozie 设计的。下次我运行 Oozie 文件夹时,应删除 Input 文件夹,并将 Output 文件夹命名为 Input。

谢谢。等待回复

【问题讨论】:

【参考方案1】:

Oozie Fs (HDFS) 动作可用于重命名目录。您可以参考此link

在上面的链接中,您可以在workflow.xml中找到这部分

<workflow-app name="[WF-DEF-NAME]" xmlns="uri:oozie:workflow:0.1">
    ...
    <action name="[NODE-NAME]">
        <fs>
            <move source='[SOURCE-PATH]' target='[TARGET-PATH]'/>
        </fs>
        <ok to="[NODE-NAME]"/>
        <error to="[NODE-NAME]"/>
    </action>
    ...
</workflow-app>

【讨论】:

以上是关于在 Oozie 或 pig 运行时重命名文件夹的主要内容,如果未能解决你的问题,请参考以下文章

Oozie Pig 动作卡在 PREP 状态,作业处于 RUNNING 状态

从 oozie 以本地模式运行 PIG

Pig : 容器在 cdh 5 中使用 oozie 运行超出物理内存限制

从 oozie 提交猪作业

PL/SQL 能否可靠地转换为 Pig Latin 或带有 Pig Latin 和 Hive 的 Oozie 管道

如何使用 oozie 启动 N 次脚本 Pig?