关于HIVE做MapReduce报错:return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

Posted 2020-11-25 猪小亨

大部分人没有交换分区的问题。

因为在做Linux的时候交换分区是按照内存的2倍来做的。但是我的是用VM快速装机做的。所以交换分区被设置成了等于内存。

扩展交换分区：https://blog.csdn.net/Ares_song/article/details/81203251

永久添加该文件：https://blog.csdn.net/kai_wei/article/details/53582811

另外mysql一个重复IP连接问题可能导致HIVE初始化实例失败，需要在所在用户执行：https://blog.csdn.net/kai_wei/article/details/53582811

上面说的命令或重启MYSQL

大部分人都应该是内存设置问题：

我对yarn的 mapred-site.xml 内存设置如下：

<configuration>
<property>
<name>mapreduce.map.memory.mb</name>
<value>1024</value>
</property>
<property>
<name>mapreduce.map.java.opts</name>
<value>-Xmx300M</value>
</property>
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>1536</value>
</property>
<property>
<name>mapreduce.reduce.java.opts</name>
<value>-Xmx450M</value>
</property>
</configuration>

设置的比较小，因为我实验机器内存比较小。