hive对于lzo文件处理异常Caused by: java.io.IOException: Compressed length 842086665 exceeds max block size 67
Posted 新际航
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了hive对于lzo文件处理异常Caused by: java.io.IOException: Compressed length 842086665 exceeds max block size 67相关的知识，希望对你有一定的参考价值。
hive查询lzo数据格式文件的表时,抛 Caused by: java.io.IOException: Compressed length 842086665 exceeds max block size 67108864 (probably corrupt file) 这类异常,如图:
这是由于lzo文件数过多,hive执行时默认是不会自动先合并lzo等压缩文件再计算,需要设置hive对应的参数,告诉它在执行计算之前,先合并较多的压缩文件
在执行hive的sql之前需要加上 set hive.hadoop.supports.splittable.combineinputformat = true; 设置是让hive先将压缩文件合并再计算
以上是关于hive对于lzo文件处理异常Caused by: java.io.IOException: Compressed length 842086665 exceeds max block size 67的主要内容，如果未能解决你的问题，请参考以下文章
hive Caused by: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata
AndroidStudio启动异常：Caused by: java.lang.IllegalArgumentException: Argument for @NotNull paramet
hive报错：Caused by: ERROR XBM0H: Directory /var/lib/hive/metastore/metastore_db cannot be created.(示例代
hive的Caused by: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-572947236
hive脚本出现Error: java.lang.RuntimeException: Error in configuring object和Caused by: java.lang.IndexOut