计算过滤的值 - Apache PIG

Posted

技术标签:

【中文标题】计算过滤的值 - Apache PIG【英文标题】:Count values that are filtered - Apache PIG 【发布时间】:2016-09-16 14:21:19 【问题描述】:

我有以下说法

Values = FILTER Input_Data BY Fields > 0 

如何计算被过滤而不被过滤的记录数?

【问题讨论】:

【参考方案1】:
-- split into 2 datasets
SPLIT Input_data INTO A IF Field > 0, B if Field <= 0;

-- count > 0 records
A_grp = GROUP A ALL;
A_count = FOREACH A_grp GENERATE COUNT(A);

-- count <= 0 records
B_grp = GROUP B ALL;
B_count = FOREACH B_grp GENERATE COUNT(B);

希望这会有所帮助!

【讨论】:

以上是关于计算过滤的值 - Apache PIG的主要内容,如果未能解决你的问题,请参考以下文章

通过在 PIG 中的同一块内计算的条件值在 FOREACH 块内进行过滤

如何计算 Apache Pig 中字符串的长度?

在 Apache Pig 中计算不同的项目

任何更快的方法来计算 Pig 中的行数

无法在 Apache Pig 中过滤 NULL 值

在 Apache Pig 中过滤数据