oozie的shell-action中加入hive脚本命令启动执行shell同时操作hive,抛异常Container killed on request. Exit code is 143 Cont

Posted 2021-01-07 新际航

 

使用oozie来调度操作，用shell的action执行命令，其中shell里包含着hive -e 操作执行时，oozie窗口报

 WARN ShellActionExecutor:523 - SERVER[host1] USER[root] GROUP[-] TOKEN[] APP[shellwf] JOB[0000029-180919135230610-oozie-root-W] ACTION[0000029-180919135230610-oozie-root-W@shellnode] LauncherMapper died, check Hadoop LOG for job [host1:8130:job_1533108188813_12125]

 

这个异常，对应的在yarn的history里找到上面给出的job_id  ===> job_1533108188813_12125 对应的日志，如下图

 

 

 图中给出launch时候内存不足，这里是oozie在提交自身的这个shell-action的时候使用的内存不足，那么就要设置增大map与reduce的内存，对于oozie配置覆盖yarn上的配置参数，可以在workflow.xml的configuration中配置将要覆盖的对应的相关的yarn的参数，

<property>
    <name>oozie.launcher.mapreduce.map.memory.mb</name>
    value>4096</value>
</property>
<property>
    <name>oozie.launcher.mapreduce.reduce.memory.mb</name>
    <value>4096</value>
</property>

 

对应的值可以视情况调整大点，不要用1024，这个是默认值，用了也是白用，如果不加这个就可以运行，说明使用没有超过1024M，加了这个参数覆盖就要大于1024M,建议超过2048M

 

注意！！！ 在参数属性前都要加上oozie.launcher,这样在oozie中的配置参数才能在yarn中生效

 

 

 提交workflow.xml再重新提交job，应该问题不大了，这个问题亲测了，如果遇到类似的解决不了，可以在评论区评论，一起讨论.....