Presto 自定义 UDF

Posted

技术标签:

【中文标题】Presto 自定义 UDF【英文标题】:Presto Custom UDF 【发布时间】:2017-08-28 17:18:36 【问题描述】:

我创建了一个已注册的自定义 udf,但是当我尝试选择 custom_udf(10) 时出现以下错误: Exact implementation of BasicPlatform do not match expected java types 这是我的 udf,我似乎无法弄清楚它有什么问题: 公共类 ScalarUdfs

private ScalarUdfs() ;

@ScalarFunction("basic_platform")
@SqlType(StandardTypes.VARCHAR)
public static Slice BasicPlatform(@SqlNullable @SqlType(StandardTypes.INTEGER) Integer id) 
    final Slice ios = Slices.utf8Slice("iOS");
    final Slice android = Slices.utf8Slice("Android");
    final Slice WEB = Slices.utf8Slice("Web");
    final Slice OTHER = Slices.utf8Slice("Other");
    final Map<Integer, Slice> PLATFORM_MAP = new HashMap<Integer, Slice>() 
        put(20, IOS);
        put(42, ANDROID);
        put(100, WEB);
    ;

    if (id == null || !PLATFORM_MAP.containsKey(id)) 
        return OTHER;
    
    return PLATFORM_MAP.get(id);

有什么明显的错误吗?我希望它返回一个给定 int 作为参数的字符串,并且我认为 java 和 sql 类型匹配 (Integer -> Integer)、(Slice -> varchar)。

谢谢

【问题讨论】:

【参考方案1】:

这个问题也在presto-users:

您必须使用@SqlNullable @SqlType(StandardTypes.INTEGER) Long id(因为SQL integer 在Java 中由Long 支持)。

【讨论】:

嘿皮奥特。是的,我在两个平台上都问过。已经解决了,谢谢:) @AceHaidrey 我知道。为了将来的访问者,也在这里回答。 如果StandardTypes.INTEGERLong 支持,那么StandardTypes.BIGINT 支持什么?此外,smaller Java 类型如 IntegerShort 等返回任何 StandardTypes @y2k-shubham 当值被大量保存在内存中时,它们会被有效地保存。在对单个值进行操作时(例如,在调用 UDF 时),为简单起见,long 用于所有整数类型。 Presto 针对 64 位处理器进行了优化,在更窄/更小的类型(如 byte、short、int)上运行不会带来任何好处,同时在代码库中呈现出不可忽略的维护负担。 @y2k-shubham 见com.facebook.presto.spi.type.Type#getJavaTypeVARCHARio.airlift.slice.Slice 表示。

以上是关于Presto 自定义 UDF的主要内容,如果未能解决你的问题,请参考以下文章

大数据Presto:Presto自定义函数和JDBC连接

Hive自定义UDF函数

Hive开发自定义函数UDF

hive自定义UDF函数,步骤详解

如何为 Presto 编写自定义窗口函数?

自定义UDF函数,从hive保存到mongodb