如何使用 apache Pig 插入过滤数据的索引？

Posted 2023-04-13

【中文标题】如何使用 apache Pig 插入过滤数据的索引？

【英文标题】：How can I insert index for filtered data using apache Pig?

【发布时间】：2020-07-05 20:34:35

【问题描述】：

我想使用 Pig 脚本为过滤的数据集/记录提供像 1、2、... 这样的索引，我正在以设置的格式加载到表中，所以当我添加索引/id 时我无法添加加载。我尝试了 Rank 功能，但它在我的公司环境下不起作用，我不能使用 UDF。目前的代码是这样的，我想给filterTable插入索引。

table1 = LOAD 'tmp' using TransactionLoader(...);
filterTable = FOREACH table1 
       rec = FILTER records BY (record MATCHES '.*\t2\t.*');
       GENERATE rec;
;

非常感谢任何帮助，谢谢！

【参考方案1】：

如果你不会写 UDF，Rank 是唯一的选择final = rank filterTable;