：SparkSQL的运行流程

Posted 2022-09-30 黑马程序员官方

 Spark是大数据体系的明星产品，是一款高性能的分布式内存迭代计算框架，可以处理海量规模的数据。下面就带大家来学习今天的内容！

 往期内容：

• Spark基础入门-第一章：Spark 框架概述
• Spark基础入门-第二章：Spark环境搭建-Local
• Spark基础入门-第三章：Spark环境搭建-StandAlone
• Spark基础入门-第四章：Spark环境搭建-StandAlone-HA
• Spark基础入门-第五章：环境搭建-Spark on YARN
• Spark基础入门-第六章：PySpark库
• Spark基础入门-第七章：本机开发环境搭建
• Spark基础入门-第八章：分布式代码执行分析
• Spark Core-第一章： RDD详解
• Spark Core-第三章：RDD的持久化
• Spark Core-第四章：Spark案例练习
• Spark Core-第五章：共享变量
• Spark Core-第六章：Spark 内核调度
• SparkSQL-第一章：SparkSQL快速入门
• SparkSQL-第二章：SparkSQL 概述
•  SparkSQL-第三章：DataFrame入门
• SparkSQL-第四章：SparkSQL函数定义 

---

一、SparkRDD的执行流程回顾

二、SparkSQL的自动优化

RDD的运行会完全按照开发者的代码执行， 如果开发者水平有限， RDD的执行效率也会受到影响。

而SparkSQL会对写完的代码，执行“自动优化”， 以提升代码运行效率，避免开发者水平影响到代码执行效率。

三、Catalyst优化器

四、SparkSQL的执行流程