将猪输出存储到 csv 文件中

Posted 2023-04-18

【中文标题】将猪输出存储到 csv 文件中

【英文标题】：Storing pig output into a csv file

【发布时间】：2013-10-28 05:50:51

【问题描述】：

我有一个 csv 文件，我将其用作 Pig 脚本的输入。 CSV 有类似的数据

1045 966 320189 1048 555 714067 1035 199 975050 1026 748 814808 1018 656 103141 1004 186 686093 1016 292 553100 1043 864 750624 1050 839 785765 1002 454 452221 1041 807 330616 1019 538 680915 1002 950 583977 1036 638 111509 1031 687 876615

我的脚本---

REGISTER /home/user/myudfs.jar;
A = LOAS 'new.csv' using PigStorage(',');
STORE A INTO '/home/user/result.csv'
USING CSVExcelStorage(',', 'NO_MULTILINE', 'WINDOWS');

我有一个带有内置类CSVExcelStorage 的myudfs jar。我正在我的脚本中注册它。

执行脚本时出现错误

"ERROR 1070: Could not resolve myudfs.CSVExcelStorage using imports: [,org.apache.pig.builtin., org.apache.pig.impl.builtin.]"

请帮忙。

【问题讨论】：

你可以试试这些解决方案：- ***.com/questions/13696036/export-from-pig-to-csv & ***.com/questions/9910908/…

【参考方案1】：

如果你在一个包下创建了UDF类，那么在PIG脚本中你应该给出UDF类的完全限定名，即

STORE A INTO '/home/user/result.csv'
USING HereGoesThePackageName.CSVExcelStorage(',', 'NO_MULTILINE', 'WINDOWS');