Spark SQL为JDBC查询生成错误的上限和下限

Posted 2021-04-18

所以我目前正在使用Spark-SQL进行POC我需要在spark中使用spark-sql查询并行化读取操作

 JavaRDD<Row> dataset = sqlContext.read().jdbc(jdBcConnectionString, getSqlQuery(), "tran_id"
                lowerbound, upperbound, partitions, props).toJavaRDD();

每一个看起来都很好并且工作正常，直到您检查生成的查询（在我自己的情况下是MS Sql Server）。

下限查询是

exec sp_executesql N'SELECT * FROM table_name WHERE tran_id < 770425 or post_tran_id is null'

而上限查询变为

exec sp_executesql N'SELECT * FROM table_name WHERE tran_id >= 770425'

有人会认为指定边界的本质是获取列值在指定的下限和上限之间的所有行。但事实并非如此

请问我是新来的火花，还有另一种方法来实现这一点

答案

有人会认为指定边界的本质是获取列值在指定的下限和上限之间的所有行。

它不是，条件是正确的。像往常一样，阅读文档比假设更好：

请注意，lowerBound和upperBound仅用于决定分区步幅，而不是用于过滤表中的行。因此，表中的所有行都将被分区并返回。此选项仅适用于阅读。

但在你的情况下，看起来lowerBound等于upperBound。

请问我是新来的火花，还有另一种方法来实现这一点

如果你想过滤，那么应用where：

dataset.where(col("tran_id").between(lowerBound, upperBound))

或使用子查询作为表参数：

sqlContext.read().jdbc(
  jdBcConnectionString,
  "(SELECT * FROM table_name WHERE tran_id BETWEEN 0 AND 42) AS t", props);