删除匹配模式的猪目录

Posted

技术标签:

【中文标题】删除匹配模式的猪目录【英文标题】:Remove pig directories matching pattern 【发布时间】:2015-03-04 01:26:51 【问题描述】:

我阅读了 this question 关于从匹配模式加载 Pig 目录的信息,但我想运行一个以相同方式删除的作业。我有带时间戳的目录,即 /mydir/02-03-01、/mydir/02-03-02、/mydir/02-03-03 等,我想删除 02-03-01 到 02-03- 01.我试过了

rmf /mydir/02-03-01,02/

带引号和不带引号都无效。有什么想法吗?

【问题讨论】:

您可能需要考虑使用 oozie 来运行您的猪作业。 Oozie 允许在开始作业之前定义数据集以及删除这些数据集的特定实例。 【参考方案1】:

下面的一个对我有用。它应该是 pig 脚本中的第一个命令。

   fs -rmr  -skipTrash  /user/root/mydir/02-03-01,02;

-rmr 已弃用。你也可以用这个

    fs -rm -r   -skipTrash  /user/root/mydir/02-03-01,02,03;  

【讨论】:

以上是关于删除匹配模式的猪目录的主要内容,如果未能解决你的问题,请参考以下文章