R-Hive流中出错

Posted 2021-05-04

我正在使用Hive和R来为大型数据集上的机器学习模型打分。但是代码出现以下错误。

我已经在我的本地分别测试了R脚本的任何错误，并确保它没有错误。有人可以指出错误吗？

错误：java.lang.RuntimeException：org.apache.hadoop.hive.ql.metadata.HiveException：处理行时的Hive运行时错误（tag = 0）{“key”：{}，“value”：{“_ col0”： 986436000，“_ col1”：“0”，“_ col2”：“0”} org.apache.hadoop.hive。 map.ReduceTask.runOldReducer（ReduceTask.java:444）位于org.apache.hadoop.mapred.ReduceTask.run（ReduceTask.java:392）org.apache.hadoop.mapred.YarnChild $ 2.run（YarnChild.java:170） ）在org.apache.hadoop.security.UserGroupInformation.doAs（UserGroupInformation.java:1866）的javax.security.auth.Subject.doAs（Subject.java:422）的java.security.AccessController.doPrivileged（Native Method）中org.apache.hadoop.mapred.YarnChild.main（YarnChild.java:164）引起：org.apache.hadoop.hive.ql.metadata.HiveException：处理行时的Hive运行时错误（tag = 0）{“key” ：{}，“value”：{“_ col0”：986436000，“_ col1”：“0”} org.apache.hadoop.hive.ql.exec.mr.ExecReducer.reduce（ExecReducer.java:244）.. .7更多引起： org.apache.hadoop.hive.ql.metadata.HiveException：[错误20001]：读取或写入自定义脚本时发生错误。它可能因错误而崩溃。在

答案

出现上述错误主要是因为自定义脚本中的错误（在我的情况下为R）。我发现错误是在R脚本中加载h2o模型对象。