Spark 术语与宽窄依赖
Posted manba_yqq
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Spark 术语与宽窄依赖相关的知识，希望对你有一定的参考价值。
- 术语解释
- 窄依赖和宽依赖
RDD 之间有一系列的依赖关系，依赖关系又分为窄依赖和宽依赖。
1 .窄依赖:父 RDD 和子 RDD partition 之间的关系是一对一的。或者父 RDD 一个 partition 只 对应一个子 RDD 的 partition 情况下的父 RDD 和子 RDD partition 关系是多对一的。不 会有 shuffle 的产生。
2 .宽依赖:父 RDD 与子 RDD partition 之间的关系是一对多。会有 shuffle 的产生。 宽窄依赖图理解：
以上是关于Spark 术语与宽窄依赖的主要内容，如果未能解决你的问题，请参考以下文章