在 Oozie 或 pig 运行时重命名文件夹
Posted
技术标签:
【中文标题】在 Oozie 或 pig 运行时重命名文件夹【英文标题】:Renaming folder at runtime in Oozie or pig 【发布时间】:2014-04-24 10:20:43 【问题描述】:我对 Oozie 和 Pig 还是陌生的。谁能告诉我如何在运行时使用 Oozie 或 Pig 重命名文件夹。 我有一个猪脚本,它从输入文件夹中读取数据,然后将输出写入输出文件夹。流程是使用 Oozie 设计的。下次我运行 Oozie 文件夹时,应删除 Input 文件夹,并将 Output 文件夹命名为 Input。
谢谢。等待回复
【问题讨论】:
【参考方案1】:Oozie Fs (HDFS) 动作可用于重命名目录。您可以参考此link
在上面的链接中,您可以在workflow.xml中找到这部分
<workflow-app name="[WF-DEF-NAME]" xmlns="uri:oozie:workflow:0.1">
...
<action name="[NODE-NAME]">
<fs>
<move source='[SOURCE-PATH]' target='[TARGET-PATH]'/>
</fs>
<ok to="[NODE-NAME]"/>
<error to="[NODE-NAME]"/>
</action>
...
</workflow-app>
【讨论】:
以上是关于在 Oozie 或 pig 运行时重命名文件夹的主要内容,如果未能解决你的问题,请参考以下文章
Oozie Pig 动作卡在 PREP 状态,作业处于 RUNNING 状态
Pig : 容器在 cdh 5 中使用 oozie 运行超出物理内存限制