OOZIE：JA009：RPC 响应超出最大数据长度

Posted 2023-04-18

【中文标题】OOZIE：JA009：RPC 响应超出最大数据长度

【英文标题】：OOZIE: JA009: RPC response exceeds maximum data length

【发布时间】：2018-12-05 13:06:48

【问题描述】：

OOZIE wordcount 示例给出 JA009：RPC 响应超出最大数据长度。我们将 ipc.maximum.data.length 加倍并重新启动了 NameNode。

2018-12-05 17:55:45,914  WARN MapReduceActionExecutor:523 - SERVER[******] USER[******] GROUP[-] TOKEN[] APP[map-reduce-wf] JOB[0000004-181205174411487-oozie-******-W] ACTION[0000004-181205174411487-oozie-******-W@mr-node] No credential properties found for action : 0000004-181205174411487-oozie-******-W@mr-node, cred : null
2018-12-05 18:10:46,019  WARN ActionStartXCommand:523 - SERVER[******] USER[******] GROUP[-] TOKEN[] APP[map-reduce-wf] JOB[0000004-181205174411487-oozie-******-W] ACTION[0000004-181205174411487-oozie-******-W@mr-node] Error starting action [mr-node]. ErrorType [TRANSIENT], ErrorCode [JA009], Message [JA009: RPC response exceeds maximum data length]
org.apache.oozie.action.ActionExecutorException: JA009: RPC response exceeds maximum data length
    at org.apache.oozie.action.ActionExecutor.convertExceptionHelper(ActionExecutor.java:463)
    at org.apache.oozie.action.ActionExecutor.convertException(ActionExecutor.java:437)
    at org.apache.oozie.action.hadoop.JavaActionExecutor.submitLauncher(JavaActionExecutor.java:1070)
    at org.apache.oozie.action.hadoop.JavaActionExecutor.start(JavaActionExecutor.java:1512)
    at org.apache.oozie.command.wf.ActionStartXCommand.execute(ActionStartXCommand.java:243)
    at org.apache.oozie.command.wf.ActionStartXCommand.execute(ActionStartXCommand.java:68)
    at org.apache.oozie.command.XCommand.call(XCommand.java:290)
    at org.apache.oozie.service.CallableQueueService$CompositeCallable.call(CallableQueueService.java:334)
    at org.apache.oozie.service.CallableQueueService$CompositeCallable.call(CallableQueueService.java:263)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at org.apache.oozie.service.CallableQueueService$CallableWrapper.run(CallableQueueService.java:181)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)
Caused by: org.apache.hadoop.ipc.RpcException: RPC response exceeds maximum data length
    at org.apache.hadoop.ipc.Client$IpcStreams.readResponse(Client.java:1808)
    at org.apache.hadoop.ipc.Client$Connection.receiveRpcResponse(Client.java:1163)
    at org.apache.hadoop.ipc.Client$Connection.run(Client.java:1059)

任何帮助将不胜感激。谢谢

【问题讨论】：

您使用的端口号可能有问题。试试这个：***.com/a/60701948/8504709>

【参考方案1】：

您是否尝试修改 hdfs-site.xml 中的配置？

<property>
     <name>ipc.maximum.data.length</name>
     <value>134217728</value>
</property>

如果它已经足够高，那么确保 fs.default.name 的 core-site.xml 配置使用的是 ip 而不仅仅是 localhost。

<configuration>
       ....
        <property>
                <name>fs.default.name</name>
                <value>hdfs://your ip:9000</value>
        </property>
</configuration>

【讨论】：

目前我们正在使用这个配置： ipc.maximum.data.length134217728 而在 core-site.xml 我们使用的是 ip。虽然我们的 hadoop 集群是 HA，所以我们也尝试过。 fs.defaultFShdfs://clustername

同样在oozie中，我们需要设置哪些配置。

你确定你的namenode已经启动了吗？运行 JPS 会得到什么？

是的 NameNode 和所有的 DataNode 都已启动。我已经从 jps 以及 myip:50070

仔细检查了它