将 JSON 格式表加载到 Pig 中

Posted 2023-04-18

【中文标题】将 JSON 格式表加载到 Pig 中

【英文标题】：Load JSON format table into Pig

【发布时间】：2014-03-04 12:01:03

【问题描述】：

我有一个用 Hive 创建的表。它需要一个JSON 格式的数据（我已经使用SERDE 来创建它）。

我想知道是否可以从这个表中加载数据到Pig，然后进行一些转换。

这是我的 JSON 数据：

"id":"1", "word":"2" ,"flag":1.

你有什么线索吗？

---

我试过了

A = LOAD ‘data.json’
USING PigJsonLoader();

但没有成功。这是我得到的错误：

[main] 错误 org.apache.pig.tools.grunt.Grunt - 错误 1200：意外字符 ''

我转向

json_objects = LOAD 'hdfs://user/cloudera/test.json' 
               USING org.apache.pig.piggybank.storage.JsonLoader();

但它说：

无法解析 org.apache.pig.piggybank.storage.JsonLoader 使用 导入：[, org.apache.pig.builtin., org.apache.pig.impl.builtin.].

【问题讨论】：

How do I parse JSON in Pig?的可能重复

【参考方案1】：

您的错误的原因是该类不存在。如果您在 0.12.1 版本中运行 pig，您将在 http://pig.apache.org/docs/r0.12.1/api/org/apache/pig/piggybank/storage/package-summary.html 找到有关贡献的 piggybank 的文档