3.4 Spark RDD运行架构 Posted 2022-03-30 炫云云 tags: 篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了3.4 Spark RDD运行架构相关的知识，希望对你有一定的参考价值。 文章目录 基本概念 1、什么是RDD 2、其他概念 Spark架构设计 Spark运行流程 RDD运行原理 1、RDD概念 2、RDD的特性 高效的容错性 3、RDD运行过程 RDD之间的依赖关系 Shuffle操作 阶段的划分 Spark join方式 Shuffle Hash Join Broadcast Hash Join Sort Merge Join 参考 基本概念以上是关于3.4 Spark RDD运行架构的主要内容，如果未能解决你的问题，请参考以下文章 spark基本概念与运行架构 spark核心概念以及运行架构 spark运行架构和基础 spark之RDD详解----五大特性 Apache Spark基础知识 Apache Spark基础知识