如何使用 apache pig 递归加载文件

Posted 2023-04-18

【中文标题】如何使用 apache pig 递归加载文件

【英文标题】：How to load files recursively using apache pig

【发布时间】：2014-03-14 23:11:03

【问题描述】：

我对 Pig 很陌生，我有一个非常基本的问题：我可以让 Pig 从目录中加载所有文件，包括子文件夹中的文件吗？ 这是我如何进行的：

records = LOAD '/worldwide/data/' USING PigStorage() AS (event:chararray, user:chararray);

这里repo/data可能有子文件夹，比如

repo/data/region/cluster1
repo/data/region/cluster2 

我可以让它从这些子目录和将来可能添加的任何新目录中加载所有内容吗？

【问题讨论】：

确认上述语句正常工作并将子目录中的所有数据加载到记录变量中。

【参考方案1】：

确认上述语句正常工作并将子目录中的所有数据加载到记录变量中。