Pig UDF 将文件写入 HDFS

Posted 2023-04-13

【中文标题】Pig UDF 将文件写入 HDFS

【英文标题】：Pig UDF to write to a file to HDFS

【发布时间】：2013-10-20 18:33:17

【问题描述】：

我想通过 Pig UDF 读取一个完整的文件，然后使用 Java 中的 PrintWriter 库准备一个输出文件并将其存储在 HDFS 上。

这可能吗，

遵循的步骤

1) 我能够读取 UDF 中的输入文件。从该文件中准备一个 HashMap。[已实现]

2) 通过过滤输入文件将数据写入输出文件。过滤是使用 HashMap[YET TO BE ACHIEVED]

完成的

任何人都可以在我的第 2 步中提供帮助。

目的是在 Pig UDF 中创建一个文件并写入该文件。

谢谢，

问候， Dheeraj Rampally。

【参考方案1】：

没问题...我已经找到了替代方法。我现在从 Pig UDF 返回一个 Databag，而不是写入文件

【讨论】：

我正在寻找类似的解决方案。您能分享一下您是如何退回包并稍后处理的吗？