SparkSpark SQL 物化视图技术原理与实践

Posted 2022-01-30 九师兄

1.概述

转载：Spark SQL 物化视图技术原理与实践

2.导言

本文将基于 SparkSQL（2.4.4） + Hive （2.3.6）， 介绍物化视图在SparkSQL中的实现及应用。

3.什么是物化视图

物化视图主要用于预先计算并保存表连接或聚合等耗时较多的操作的结果，这样，在执行查询时，就可以避免进行这些耗时的操作，从而快速的得到结果。物化视图使用查询重写（query rewrite）机制，不需要修改原有的查询语句，引擎自动选择合适的物化视图进行查询重写，完全对应用透明。它和视图的区别在于，物化视图将存储实际的数据，而视图只是存储SQL语句。使用物化视图的基本流程为：

1. 创建物化视图

2. Query查询

3. 基于物化视图，对Query进行查询重写，生成新的Query

4. 基