使用hive重定向导出的数据文件中包含WARN日志记录问题

Posted 2020-12-12 zpan2019

感谢分享：http://blog.sina.com.cn/s/blog_7e04e0d00102w140.html

采集程序是使用hive -f xx.hql> xx.out，在使用sqoop将数据导入关系型数据库。

最近赶上大数据平台升级，忽然之间跑的好好的任务忽然报错说类型转换错误。

 

结果经查询发现，hive -f 重定向导出的数据文件中带有如下两句WARN日志：

WARN: The method class org.apache.commons.logging.impl.SLF4JLogFactory#release() was invoked.
WARN: Please see http://www.slf4j.org/codes.html#release for an explanation. 

 

进检查这是个bug，只要在hql中调用了add jar命令，就会报这个错。

于是用了讨巧的办法,加了个过滤，如下：

hive -f xx.hql  | grep -v "WARN" > xx.out

 

于是乎思考，重定向导出数据有这种缺陷，可以使用导出到本地文件系统

insert overwrite local directory ‘/work/ad/addata/adlog/log_version_V3/datong/DW_ADS_IMP_TYPE_DAY_out‘

row format delimited

fields terminated by ‘ ‘

select ....

 

这种方式就没有重定向的问题。