使用 PIG 删除空格

Posted 2023-04-18

【中文标题】使用 PIG 删除空格

【英文标题】：Remove whitespace using PIG

【发布时间】：2017-07-06 11:16:21

【问题描述】：

我有逗号 (,) 分隔的 (csv) 数据集。我想在 Pig 脚本中删除的每个分隔符后面都有一个空格。示例行如下所示：

"Sachin", "India", "batsaman", "99", "kolkata", " ", "xyz"

去掉逗号后的空格后应该是这样的：

"Sachin","India","batsaman","99","kolkata"," ","xyz"

【参考方案1】：

将其加载到单个字段中并使用 REPLACE。

A = LOAD 'data.txt' USING TextLoader();
B = FOREACH A GENERATE REPLACE($0,' ','');