是否有将存储在 HDFS 中的数据转换为 JSON 的直接方法？

Posted 2023-04-18

【中文标题】是否有将存储在 HDFS 中的数据转换为 JSON 的直接方法？

【英文标题】：Is there a straight forward way of converting data stored in HDFS to JSON?

【发布时间】：2016-01-12 19:05:05

【问题描述】：

我有一个“|”我需要将其转换为 JSON 以进行进一步处理的分隔数据文件。

示例数据如下所示，第一行是字段

A | B | C | D | E
001 | Value2 | Value3 | Value4 | Value5
002 | Value2 | Value3 | Value4 | Value5
003 | Value2 | Value3 | Value4 | Value5

【参考方案1】：

啊，这太容易了。刚找到。我只展示了一个包含两个字段的示例。

A = FOREACH 'ALIAS NAME' GENERATE $0 as id, $1 as salary;
STORE A INTO '/your prefered hdfs location' using JsonStorage();

看看实力！！！

【讨论】：

我不会在“您首选的 hdfs 位置”中添加空格。不过很高兴你想通了。