从 Pig UDF 访问 HDFS

Posted 2023-04-13

【中文标题】从 Pig UDF 访问 HDFS

【英文标题】：Accessing HDFS from Pig UDF

【发布时间】：2013-09-13 20:49:22

【问题描述】：

我有一个 Pig Java UDF，我正在尝试访问文件系统以将一组文件读入 HashMap。但是，当我在构造函数或稍后执行的方法体中调用UDFContext.getUDFContext().getJobConf() 时，我得到null 作为输出。从 EvalFunc 中获取作业配置的正确格式是什么？

【问题讨论】：

你能分享一些代码吗？ JobConf 仅在后端可用（在方法内部调用 EvalFunc.exec()、LoadFunc.getNext()）

我也有同样的问题。你解决了吗？

【参考方案1】：

您是否正在使用@MonitoredUDF？就我而言，我能够通过从类中删除注释来解决问题。