Hive 3.x 导致外部表中压缩 (bz2) json 的错误

Posted 2023-04-13

【中文标题】Hive 3.x 导致外部表中压缩 (bz2) json 的错误

【英文标题】：Hive 3.x causing error for compressed (bz2) json in external table

【发布时间】：2021-02-16 06:58:44

【问题描述】：

我有一些 JSON 数据（大约 60GB）必须加载到 Hive 外部表中。我将 Hive 3.x 与 Hadoop 3.x 一起使用。表的架构如下：

    CREATE TABLE people(a string, liid string, link string, n string, t string, e string)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.JsonSerDe'
STORED AS TEXTFILE LOCATION '/data/db/';

我还为 serde 加载了 jar，如下所示： 一个DD JAR /usr/hive/lib/hive-hcatalog-core-3.1.2.jar;

如果我复制一个简单的文本 json（或加载），那么 DML 查询（选择等）就可以正常工作。由于数据文件非常大，因此我已对其进行了压缩（现在为 20GB）。我已将此压缩文件加载到 Hive 表中（在上面创建）。

hive> select * from people;
OK
Failed with exception java.io.IOException:org.apache.hadoop.hive.serde2.SerDeException: java.io.IOException: Field name expected
Time taken: 0.096 seconds
hive> 

它可以很好地处理未压缩的数据。这是什么问题？

我尝试了一些解决方案，例如this，但没有成功

【参考方案1】：

我自己找到了解决方案。实际问题是 json 中有两列是数组。它们应该映射到 hive 中的 ARRAY。我为架构采集的样本不包含这些数组。因此，通过将字段类型更改为 array<<string>> 一列解决了我的问题。