在 Pig Latin 中选择不同的行

Posted 2023-04-18

【中文标题】在 Pig Latin 中选择不同的行

【英文标题】：Selecting distinct rows in Pig Latin

【发布时间】：2014-02-19 21:59:40

【问题描述】：

在 Pig Latin 中，有没有一种选择表格中不同行的好方法？例如，假设我有表 (1, 2, 3)； (2, 5, 1); (1, 2, 3)，但我想要 (1, 2, 3)； (2, 5, 1)。

【参考方案1】：

是的，在 Pig Latin 中，有一个关系运算符 DISTINCT 正是这样做的。

例如：

  -- assume input is:
  -- 1,2,3
  -- 2,5,1
  -- 1,2,3
  data = LOAD 'input' USING PigStorage(',') AS (val1:int,val2:int,val3:int);

  data2 = DISTINCT data;

  -- produces:
  -- 1,2,3
  -- 2,5,1
  DUMP data2;