return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask.

Posted 2023-03-02 Discovery-Network

1. 集群环境

2. 错误由来

3. 错误原因

4. 错误分析

5. 解决办法

1、集群环境

CDH集群5.16.1 ，hive的引擎是spark。

2、错误由来

今天在生产环境的集群里跑hive任务，报错

Job failed with org.apache.spark.SparkException: Job aborted due to stage failure: Task 7 in stage 14.0 failed 4 times, most recent failure: Lost task 7.3 in stage 14.0 (TID 2055, cdh093, executor 259): ExecutorLostFailure (executor 259 exited caused by one of the running tasks) Reason: Executor heartbeat timed out after 139900 msFAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Spark job failed during runtime. Please check stacktrace for the root cause.

3、错误原因

这个错误是因为hive的map join参数默认是开启的：

hive.auto.convert.join=true

使用hive进行map join时， 节点内存不够就会报该类型错误。

4、错误分析

MapJoin是指在Map 端进行join，其原理是broadcast join，即把小表作为一个完整的驱动表来进行join操作。通常情况下，要连接的各个表里面的数据会分布在不同的Map中进行处理。即同一个Key对应的Value可能存在不同的Map中。这样就必须等到 Reduce中去连接。要使MapJoin能够顺利进行，那就必须满足这样的条件：除了一份表的数据分布在不同的Map中外，其他连接的表的数据必须在每个Map中有完整的拷贝。Map Join会把小表全部读入内存中，在Map阶段直接拿另外一个表的数据和内存中表数据做匹配 (这时可以使用Distributed Cache将小表分发到各个节点上，以供Mapper加载使用)，由于在map时进行了join操作，省去了reduce运行的效率也会高很多。

当机器内存不足时，无法在Map端进行join，即会报错。

5、解决办法

1、可以关闭上面的map join 改为common join

shell命令行：set hive.auto.convert.join=false

6. 修改配置文件下的参数可以把map join 关闭，使用common join

修改完成后，数据开发人员跑任务反馈正常。