Sqooping 数据后 Hive 抛出错误

Posted 2023-04-18

【中文标题】Sqooping 数据后 Hive 抛出错误

【英文标题】：Hive throws error after sqooping data

【发布时间】：2017-05-12 08:39:18

【问题描述】：

我想以 parquet 格式将数据从数据库导入 HDFS，然后填充 hive 表。我不能使用 sqoop import --hive-import，因为 sqoop 将数据从 --target-dir 移动到 hive 元存储目录。 因此，我必须创建 hive 架构 sqoop create-hive-table，将 hive 表转换为 parquet SET FILEFORMAT parquet，将 hive 表的位置更改为指向 HDFS 中的合适文件，最后使用 sqoop import --as-parquet-file

我在 hive 中遇到问题：由于此错误，我无法预览表的数据：

Failed with exception java.io.IOException:org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.UnsupportedOperationException: Cannot inspect org.apache.hadoop.io.LongWritable

1) 我该如何解决这个问题？

2) 有没有更好的解决方案来做这个用例？

【参考方案1】：

你的蜂巢版本是什么？如果您的版本是 1.0.0，那么这是一个错误。请关注此link

此错误已在 hive 1.2.0 版本中修复

【讨论】：

我正在使用 hive-1.1.0-cdh5.9.1