：SparkSQL函数定义

Posted 2022-09-30 黑马程序员官方

Spark是大数据体系的明星产品，是一款高性能的分布式内存迭代计算框架，可以处理海量规模的数据。下面就带大家来学习今天的内容！

 往期内容：

• Spark基础入门-第一章：Spark 框架概述
• Spark基础入门-第二章：Spark环境搭建-Local
• Spark基础入门-第三章：Spark环境搭建-StandAlone
• Spark基础入门-第四章：Spark环境搭建-StandAlone-HA
• Spark基础入门-第五章：环境搭建-Spark on YARN
• Spark基础入门-第六章：PySpark库
• Spark基础入门-第七章：本机开发环境搭建
• Spark基础入门-第八章：分布式代码执行分析
• Spark Core-第一章： RDD详解
• Spark Core-第三章：RDD的持久化
• Spark Core-第四章：Spark案例练习
• Spark Core-第五章：共享变量
• Spark Core-第六章：Spark 内核调度
• SparkSQL-第一章：SparkSQL快速入门
• SparkSQL-第二章：SparkSQL 概述

• SparkSQL-第三章：DataFrame入门

---

一、SparkSQL 定义UDF函数

方式1语法：
udf对象 = sparksession.udf.register(参数1，参数2，参数3) 参数1： UDF名称，可用于SQL风格
参数2：被注册成UDF的方法名
参数3：声明UDF的返回值类型
udf对象： 返回值对象，是一个UDF对象，可用于DSL风格

方式2语法：
udf对象 = F.udf(参数1， 参数2)
参数1： 被注册成UDF的方法名
参数2： 声明UDF的返回值类型
udf对象： 返回值对象，是一个UDF对象，可用于DSL风格

其中F是：

• from pyspark.sql import functions as F
• 其中，被注册成UDF的方法名是指具体的计算方法，如：
• def add(x, y): x + y
• add就是将要被注册成UDF的方法名

二、SparkSQL 使用窗口函数