为啥使用 rank() 窗口函数会破坏解析器?
Posted
技术标签:
【中文标题】为啥使用 rank() 窗口函数会破坏解析器?【英文标题】:Why does using rank() windowing function break the parser?为什么使用 rank() 窗口函数会破坏解析器? 【发布时间】:2015-11-18 23:11:46 【问题描述】:spark sql 的窗口函数在线文档包括以下示例:
https://databricks.com/blog/2015/07/15/introducing-window-functions-in-spark-sql.html
SELECT
product,
category,
revenue
FROM (
SELECT
product,
category,
revenue,
dense_rank() OVER (PARTITION BY category ORDER BY revenue DESC) as rank
FROM productRevenue) tmp
WHERE
rank <= 2
我创建了一个看起来类似结构的 sql。但它不起作用
select id,r from (
select id, name,
rank() over (partition by name order by name) as r
from tt) v
where v.r >= 7 and v.r <= 12
这是错误:
Exception in thread "main" java.lang.RuntimeException: [3.25]
failure: ``)'' expected but `(' found
rank() over (partition by fp order by fp) as myrank
^
任何人都可以看出它们在结构上的不同之处吗?我从 2015 年 11 月 18 日开始使用 spark 1.6.0-SNAPSHOT。
【问题讨论】:
【参考方案1】:我检查了源代码,似乎 rank() 需要 hive 支持。我正在用
重建火花 -Phive -Phive-thriftserver
我确实确认:当使用 HiveContext
时,查询有效。
【讨论】:
重建是什么意思?我应该在哪里做这个? @AswinJoseRoy 如果您自己在 Maven 上构建 Spark,则需要包含这些选项。如果您要下载预构建的 Spark,则需要获取包含 Hive 支持的版本。以上是关于为啥使用 rank() 窗口函数会破坏解析器?的主要内容,如果未能解决你的问题,请参考以下文章