Spark SQL 查询中的高阶函数

Posted

技术标签:

【中文标题】Spark SQL 查询中的高阶函数【英文标题】:Higher Order functions in Spark SQL query 【发布时间】:2020-07-24 08:46:04 【问题描述】:

我刚刚了解了 Spark SQL 高阶函数 transform(), filter() 等。我在网上搜索,但找不到很多利用这些函数的高级用例。

任何人都可以解释transform() 与几个使用sql 查询的高级现实生活用例。它是否总是需要处理嵌套的复杂类型(数组、结构等)?或者它也可以用来处理简单的数据类型记录?

感谢任何帮助。

谢谢

【问题讨论】:

【参考方案1】:

以下在线资源在%sql模式下生动演示:

https://docs.databricks.com/delta/data-transformation/higher-order-lambda-functions.html

【讨论】:

以上是关于Spark SQL 查询中的高阶函数的主要内容,如果未能解决你的问题,请参考以下文章

2016.3.3(Spark框架预览,Scala部分应用函数闭包高阶函数,关于语义分析的一些心得)

Mysql高阶sql语句

Spark基础-scala学习

scala - 高阶函数将类型T更改为Nothing

高阶函数

前端面试 JavaScript— 什么是高阶函数?数组中的高阶函数有哪些?