如何使用Spark执行MySQL（JDBC）连接？

Posted 2021-04-19

我想通过Spark从mysql读取数据。我看到的API能够从特定表中读取数据。就像是，

val prop = new java.util.Properties
prop.setProperty("user", "<username>")
prop.setProperty("password", "<password>")

sparkSession.read.jdbc("jdbc:mysql://????:3306/???", "some-table", prop)

现在，我想对连接表执行查询。有谁知道怎么做（在数据库方面，而不是Spark SQL）？

谢谢，

他们是

答案

您需要使用“table”参数作为查询：

val table = "(SELECT foo JOIN bar ON foo.id = bar.id) as t"

spark.read.jdbc("jdbc:mysql://????:3306/???", table, prop)

您应该注意，为查询提供别名很重要，否则这将无效。