Spark SQL下推Cassandra UDF？

Posted 2023-04-17

【中文标题】Spark SQL下推Cassandra UDF？

【英文标题】：Spark SQL push down of Cassandra UDF?

【发布时间】：2016-02-14 22:51:50

【问题描述】：

在 Spark SQL 上关注 this questions 我想知道带有 Cassandra 连接器的 Spark SQL 是否能够将 SQL 查询中的 UDF 下推到 Cassandra UDF（如果存在）。

我试图查看source，但无法得到明确的答案。

【参考方案1】：

不，目前不支持下推 udfs。

【讨论】：

应该在哪个级别完成？ Cassandra 连接器还是 Spark SQL？我想发送功能请求。

这很难。要么我们需要将列标识符作为函数读取并将其传递给源（Spark 端），要么尝试在连接器中进行一些疯狂的拦截。目前不确定有什么好方法。