Nifi在HDFS路径上移动前一天合并的json文件的文件

Posted 2023-02-16

【中文标题】Nifi在HDFS路径上移动前一天合并的json文件的文件

【英文标题】：Nifi Moving files on HDFS path for the previous day merged json file

【发布时间】：2019-10-16 17:59:13

【问题描述】：

我需要将前一天处理并合并的 json 文件移动到新的 hdfs 路径中。要求是递归搜索未处理的文件并移动待处理的未处理文件。

路径 1 -> /data/nifi/working/2019/10/source_2019_10_15.json --- 每日处理的文件合并在此路径下，并每天添加。 路径 2 -> /data/nifi/incoming/ -- 代码应该搜索文件夹是否不存在，然后创建和移动文件，如果文件夹已经存在则移动文件。

目前，我正在使用 nifi flow -- ListHDFS->MoveHDFS 但无法实现。

需要帮助如何实现这一点。

感谢您的帮助。

【参考方案1】：

当前流程运行良好。

listhdfs->fethchdfs->updateattribute->puthdfs

在 listhdfs 中，设置消费前的最小文件年龄等待时间。这将允许进程递归搜索文件，并使用 updateattribute 重新创建文件夹并将文件处理到 /data/nifi/incoming/。