为啥不能在 Redshift 的 CTE 的某些子句中调用不可变的 UDF?

Posted

技术标签:

【中文标题】为啥不能在 Redshift 的 CTE 的某些子句中调用不可变的 UDF?【英文标题】:Why can't immutable UDFs be called within certain clauses of a CTE in Redshift?为什么不能在 Redshift 的 CTE 的某些子句中调用不可变的 UDF? 【发布时间】:2018-08-03 17:53:35 【问题描述】:

问题可以简化为,在视图中,任何引用 some_immutable_func 的 CTE 都会中断,但 WHERE、HAVING 子句除外,从而导致以下错误::

create or replace function some_immutable_func ()
  returns int
  immutable as $$
    SELECT 1
  $$ language sql;

create view some_view as
WITH some_cte AS (
  SELECT immutable_func()
)
SELECT * FROM some_cte;

FATAL:  Query processing failed due to an internal error.
CONTEXT:  SQL function "immutable_func"
SSL connection has been closed unexpectedly
The connection to the server was lost. Attempting reset: Succeeded.



-- but this is okay
create view some_view as
WITH some_cte AS (
  SELECT * FROM some_table
  WHERE ...some_immutable_func()...
  HAVING ...some_immutable_func()...
)
SELECT * FROM some_cte;
CREATE VIEW

ABS(-3) 等内置的不可变 UDF 可以正常工作。只需将 UDF 更改为稳定即可解决问题,但我希望在复杂视图中优化查询性能,显然某个 UDF 的稳定特性使其速度降低了近 100 倍。理想情况下,我还想尽量减少对视图结构的更改,希望做一个简单的全部替换,而不是将所有对 UDF 的引用重新排列到 WHERE 和 HAVING 子句中。

我认为问题可能出在查询优化器上,但令我惊讶的是,关于 Redshift/postgres 和不变性的隐秘/更详细的信息很少。

编辑:我还发现将 UDF 语言更改为 python 似乎可以正常工作。但是,在我的特定用例中,它的性能似乎相当缓慢,可能比仅使用 STABLE SQL UDF 更差。

【问题讨论】:

想出了一个奇怪的解决方法:只需在主 SELECT 中添加对不可变 UDF 的引用,即可正常处理视图。 感谢您发布此信息。我们将进行调查。 【参考方案1】:

只是想确认问题发布后问题已得到解决。

提供的示例现在可以按预期工作。

【讨论】:

以上是关于为啥不能在 Redshift 的 CTE 的某些子句中调用不可变的 UDF?的主要内容,如果未能解决你的问题,请参考以下文章

为啥 Redshift 不支持 DOES EXIST 相关子查询?

为啥 CTE 比游标/派生表/子查询/临时表等更好?

Redshift 中的链式 CTE - 我如何知道 CTE 将继承哪个 DIST KEY?

在 Redshift 中连接字符串的递归 CTE 替代方案

为啥像 Snowflake 和 Redshift 这样的列式数据库不能更改列顺序?

CTE内部有多个子查询