Spark SQL 查询中的高阶函数
Posted
技术标签:
【中文标题】Spark SQL 查询中的高阶函数【英文标题】:Higher Order functions in Spark SQL query 【发布时间】:2020-07-24 08:46:04 【问题描述】:我刚刚了解了 Spark SQL 高阶函数 transform(), filter()
等。我在网上搜索,但找不到很多利用这些函数的高级用例。
任何人都可以解释transform()
与几个使用sql 查询的高级现实生活用例。它是否总是需要处理嵌套的复杂类型(数组、结构等)?或者它也可以用来处理简单的数据类型记录?
感谢任何帮助。
谢谢
【问题讨论】:
【参考方案1】:以下在线资源在%sql模式下生动演示:
https://docs.databricks.com/delta/data-transformation/higher-order-lambda-functions.html
【讨论】:
以上是关于Spark SQL 查询中的高阶函数的主要内容,如果未能解决你的问题,请参考以下文章