Hive GenericUDF 错误 - RuntimeException typeInfo 不能为空

Posted 2023-04-13

【中文标题】Hive GenericUDF 错误 - RuntimeException typeInfo 不能为空

【英文标题】：Hive GenericUDF Error - RuntimeException typeInfo cannot be null

【发布时间】：2014-09-18 16:44:57

【问题描述】：

在 Hive 0.11 的 Amazon EMR 上运行，我正在尝试使用 GenericUDF 类创建一个简单的 UDF。我想用 UDF 做的只是从列中获取一个值，然后将其打印回屏幕。重点是在构建更复杂的东西之前，看看我是否可以让这个工作正常。

我编译 jar，加载到 hive，并创建一个临时函数。

add jar ..../GenericTest.jar;
create temporary function gen_test as 'GenericTest';

当我使用错误数量的参数运行函数时，我得到了预期的错误：

SemanticException [Error 10015]: Line 1:13 Arguments length mismatch 'gen_test': Wrong # of Args

但是，当我传递正确数量的参数时，它会立即失败并显示以下消息：

FAILED: RuntimeException typeInfo cannot be null!

到目前为止，我一直无法找到这个问题的根源。该UDF的代码如下。

import org.apache.hadoop.hive.ql.exec.Description; 
import org.apache.hadoop.hive.ql.exec.UDFArgumentException; 
import org.apache.hadoop.hive.ql.exec.UDFArgumentLengthException;
import org.apache.hadoop.hive.ql.exec.UDFArgumentTypeException; 
import org.apache.hadoop.hive.ql.metadata.HiveException; 
import org.apache.hadoop.hive.ql.udf.generic.GenericUDF; 
import org.apache.hadoop.hive.ql.udf.generic.GenericUDFUtils; 
import org.apache.hadoop.hive.serde2. objectinspector.ObjectInspector;


public class GenericTest extends GenericUDF 

  private GenericUDFUtils.ReturnObjectInspectorResolver returnOIResolver;
  private ObjectInspector[] argumentOIs;

  public ObjectInspector initialize(ObjectInspector[] arguments) throws UDFArgumentException 
     argumentOIs = arguments;
     if (arguments.length != 1) 
       throw new UDFArgumentLengthException("Wrong # of Args");
     

        if (arguments[0].getCategory() != ObjectInspector.Category.PRIMITIVE)
        throw new UDFArgumentTypeException(0, "Only primitive type arguments are accepted");

     returnOIResolver = new GenericUDFUtils.ReturnObjectInspectorResolver(true);

     return returnOIResolver.get();
  

  public Object evaluate(DeferredObject[] arguments) throws HiveException 
    Object retVal = returnOIResolver.convertIfNecessary(arguments[0].get(), argumentOIs[0]);
    return retVal;
  

  public String getDisplayString(String[] children)
    String rt = "get Display String test";
    return rt;
  

【问题讨论】：

我已经让它运行了。在 initialize() 中，我需要类似于 returnOIResolver.update(arguments[0]); 的东西，以便 return returnOIResolver.get(); 有一些东西要返回（返回值的 ObjectInspector）。

【参考方案1】：

如果你想尝试基本的：你可以使用这个

package yarn;

import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.exec.UDFArgumentLengthException;
import org.apache.hadoop.hive.ql.exec.UDFArgumentTypeException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDF;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDFUtils;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;

public class GenericUDFNvl extends GenericUDF 
private GenericUDFUtils.ReturnObjectInspectorResolver returnOIResolver;
private ObjectInspector[] argumentOIs;
@Override
public ObjectInspector initialize(ObjectInspector[] arguments)
throws UDFArgumentException 
 argumentOIs = arguments;
 if (arguments.length != 2) 
 throw new UDFArgumentLengthException(
 "The operator 'NVL' accepts 2 arguments.");
 
 returnOIResolver = new GenericUDFUtils.ReturnObjectInspectorResolver(true);
 if (!(returnOIResolver.update(arguments[0]) && returnOIResolver
 .update(arguments[1]))) 
 throw new UDFArgumentTypeException(2,
 "The 1st and 2nd args of function NLV should have the same type, "
 + "but they are different: \"" + arguments[0].getTypeName()
 + "\" and \"" + arguments[1].getTypeName() + "\"");
 
 return returnOIResolver.get();
 
 @Override
 public Object evaluate(DeferredObject[] arguments) throws HiveException 
    // TODO Auto-generated method stub
    Object retVal = returnOIResolver.convertIfNecessary(arguments[0].get(),
            argumentOIs[0]);
            if (retVal == null )
            retVal = returnOIResolver.convertIfNecessary(arguments[1].get(),
            argumentOIs[1]);
            
            return retVal;



@Override

    public String getDisplayString(String[] children) 
        StringBuilder sb = new StringBuilder();
        sb.append("if ");
        sb.append(children[0]);
        sb.append(" is null ");
        sb.append("returns");
        sb.append(children[1]);
        return sb.toString() ;
        

public static void main(String[] args) 

如果你的第一个参数不为空，你必须传递 2 个参数，然后它会打印第一个参数，如果第一个参数为空，那么它会打印第二个参数

select nvl(movie_title,"test") from u_item_test1; 

如果 movie_tittle 存在则该 movie_tittle ，如果不存在则将打印测试

【讨论】：

我可以让这个工作。如果我在初始化语句中运行returnOIResolver.update(arguments[0]);，也能够让我的工作。

【参考方案2】：

我已经让它运行了。

在 initialize() 中，我需要类似于 returnOIResolver.update(arguments[0]); 的东西（如第一个答案所示），以便 return returnOIResolver.get(); 有一些东西要返回（返回值的 ObjectInspector）。