我可以在 Pig 脚本中将参数传递给 UDF 吗？

Posted 2023-04-14

【中文标题】我可以在 Pig 脚本中将参数传递给 UDF 吗？

【英文标题】：Can I pass parameters to UDFs in Pig script?

【发布时间】：2012-10-31 17:38:04

【问题描述】：

我对 PigScript 比较陌生。我想知道是否有一种方法可以将参数传递给 Pig 中的 Java UDF？

这是场景： 我有一个日志文件，它有不同的列（每个代表另一个表中的主键）。我的任务是获取所选列中不同主键值的计数。 我编写了一个 Pig 脚本，它可以获取不同的主键并计算它们。 但是，我现在应该为每一列编写一个新的 UDF。有一个更好的方法吗？就像我可以将行号作为参数传递给 UDF 一样，它避免了我编写多个 UDF 的需要。

【参考方案1】：

方法是使用DEFINE 和UDF 的构造函数。所以这里是一个客户“拆分器”的例子：

REGISTER com.sample.MyUDFs.jar;
DEFINE CommaSplitter com.sample.MySplitter(',');

B = FOREACH A GENERATE f1, CommaSplitter(f2);

希望能传达这个想法。

【参考方案2】：

要传递参数，请在 pigscript 中执行以下操作：

UDF(document, '$param1', '$param2', '$param3')

编辑：不确定这些参数是否需要包装在“”中

在你的 UDF 中你这样做：

public class UDF extends EvalFunc<Boolean> 



public Boolean exec(Tuple input) throws IOException 

    if (input == null || input.size() == 0)
        return false;

    FileSystem fs = FileSystem.get(UDFContext.getUDFContext().getJobConf());


    String var1 = input.get(1).toString();
    InputStream var1In = fs.open(new Path(var1));


    String var2 = input.get(2).toString();
    InputStream var2In = fs.open(new Path(var2));

    String var3 = input.get(3).toString();
    InputStream var3In = fs.open(new Path(var3));



    return doyourthing(input.get(0).toString());

例如

【参考方案3】：

是的，您可以在 UDF 的 Tuple 参数输入中传递任何参数：

exec(Tuple input)

并使用它访问它

input.get(index)

【讨论】：

是的，弗雷德。但是如何从 PigScript 端传递参数？

我不知道这是否正是您想要做的，但您可以创建一个新的元组，其中主键作为第一个字段，您实际想要传递给 UDF 的数据作为剩余字段：FOREACH tupleForUdf GENERATE primarykey, *;