Spark 3 新特性
Posted MISAYAONE
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Spark 3 新特性相关的知识，希望对你有一定的参考价值。
介绍较详细。
介绍了 AQE 和 DPP 的来源背景：基于动态统计信息的优化
介绍了与数仓模型之间的联系：
基于运行时推断的信息来进一步进行分区裁剪。这在星型模型中很常见，星型模型是由一个或多个并且引用了任意数量的维度表的事实表组成。在这种连接操作中，我们可以通过识别维度表过滤之后的分区来裁剪从事实表中读取的分区。
Apache Spark 3.0.0重磅发布 —— 重要特性全面解析 - 云+社区 - 腾讯云
AQE+DPP+Pandas UDF + R( LSM )
以上是关于Spark 3 新特性的主要内容，如果未能解决你的问题，请参考以下文章