如何在猪中加载由 :: 分隔的数据

Posted 2023-04-13

【中文标题】如何在猪中加载由 :: 分隔的数据

【英文标题】：How to load data separated by :: in pig

【发布时间】：2018-03-25 19:20:53

【问题描述】：

我有一个文本文件，其中的字段由 :: 分隔，如下所示。

124::2345::3::647483
234::5940::3::939390
340::3492::3::948284

如何在 pig latin 中加载数据，使用 pigStorage 的参数是什么？？

【参考方案1】：

PigStorage 只接受单个字符。

加载每一行的数据。使用带有正则表达式模式的STRSPLIT 来获取字段。

A = LOAD 'data.txt' USING PigStorage('\n');
B = FOREACH A GENERATE FLATTEN(STRSPLIT($0, '::'));

\d B 输出

(124,2345,3,647483)
(234,5940,3,939390)
(340,3492,3,948284)