Hive常见问题 unable to create manager for [/var/log/hive/operation_logs/xxxxx

Posted 2023-01-11 AllenGd

关联查询

执行sqoop命令，hive sql的时候，先报一堆错，然后执行job，报错截图如下：

异常原因：mapreduce将数据量小的表识别成了大表，数据量大的识别成小表，将数据量大的表加入到内存，导致程序异常，但并不影响执行结果
解决方法：

==通常情况下，设置取消小表加载至内存中即可==
set hive.auto.convert.join = false;

==如果执行上述命令没有解决，执行如下命令==
set hive.execution.engine=mr;
set hive.mapjoin.smalltable.filesize=55000000;
set hive.auto.convert.join = false;  #取消小表加载至内存中