PIG LOAD 文件名

Posted

技术标签:

【中文标题】PIG LOAD 文件名【英文标题】:PIG LOAD filename 【发布时间】:2015-12-17 01:19:08 【问题描述】:

我只是想加载一个非结构化的输入文件并添加文件名。所以我想要得到的是两个字段: 文件名:字符数组,输入行:字符数组。

如果我有一个使用 pigstorage(';','-tagfile') 的字段分隔符,我可以加载文件名,但此时我不想分隔字段,我只想要字符串和文件名。我该怎么做?

B

【问题讨论】:

您能添加一些示例输入和所需的输出吗? 【参考方案1】:

在不应用分隔符的情况下加载文件的方法是选择文件中不会(不能)出现的分隔符。

例如,如果您的文件由; 分隔并且不能包含标签\t,您可以这样做:

pigstorage('\t','-tagfile')

【讨论】:

以上是关于PIG LOAD 文件名的主要内容,如果未能解决你的问题,请参考以下文章

如何在 PIG 中导入/加载 .csv 文件?

使用 pig 从 csv 文件中读取数据

Pig 使用 LOAD 覆盖配置单元中的数据

Pig Load with Schema 给出错误

Pig:使用实际的 key_name 和值创建 json 文件

使用 Pig 解析 XML 文件