Spark 不等值 join的思考

Posted 2022-02-27 MISAYAONE

美团一面的问题，spark join 种类，没想到等值 join 和不等值 join

https://segmentfault.com/a/1190000039417619

这个文章讲的比较全，join 的五种类型：

等值 join（broadcast hash join / shuffle hash join / sort merge join）

不等值 join （Broadcast nest loop join / cartesian join (笛卡尔乘积)）

针对不等值 join，cartesian join有以下场景：

SparkSQL中产生笛卡尔积的几种典型场景以及处理策略

1：不写 join 的 on 条件

2：on 条件中只有不等值条件

3：on 条件中虽然有等值条件，但是有 or 或者 || 关键字

如果on 条件中有等值条件和不等值条件的且关系，会自动优化为 sort merge join：

on t1.id = t2.id and t1.name<>t2.name;

cross join on t1.id = t2.id（即使写了 cross join 也会优化为 sort merge join）

避免的话࿰