有没有办法在 java 中的 Spark 2.1 中进行广播加入

Posted 2023-04-17

【中文标题】有没有办法在 java 中的 Spark 2.1 中进行广播加入

【英文标题】：​Is there a way to do broadcast join in Spark 2.1 in java

【发布时间】：2018-12-15 17:50:31

【问题描述】：

我知道 scala 中存在如下所述的方法。

val joined_df = df1.join(broadcast(df2), "key")

如何在 Java 中进行广播加入。 我必须做 sc.broadcast (df2) 并在连接中使用它吗？那它会被称为广播加入吗？

【参考方案1】：

如何在 Java 中进行广播加入。

完全一样。

import static org.apache.spark.sql.functions.broadcast;

Datset<Row> joined = df1.join(broadcast(df2), "key");