set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat； 解决 map 端的小文件进行合并
Posted 闭关苦炼内功
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat； 解决 map 端的小文件进行合并相关的知识，希望对你有一定的参考价值。
ods 层数据装载到 dim 层数据，出现 NULL 异常数据
原因：ods 层数据有 lzo文件的index索引文件，map端小文件合并把lzo的索引文件也给合并了，所以hive数据查询出现 NULL 异常数据
- 查看hive默认数据存储格式
set hive.input.format;
默认是： org.apache.hadoop.hive.ql.io.CombineHiveInputFormat会对 map 端的小文件进行合并
- 修改hive默认数据存储格式
所以需要修改为 org.apache.hadoop.hive.ql.io.HiveInputFormat
set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;
以上是关于set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat； 解决 map 端的小文件进行合并的主要内容，如果未能解决你的问题，请参考以下文章
org.hibernate.MappingException：无法确定类型：java.util.Set，表：USERS，列：[org.hibernate.mapping.Column(invoices
.settings/org.eclipse.jdt.core.prefs 是项目的一部分吗？