有啥方法可以在 spark 中建立与 redshift 数据库的静态连接

Posted 2023-03-31

【中文标题】有啥方法可以在 spark 中建立与 redshift 数据库的静态连接

【英文标题】：Is there any way to make static connection to redshift database in spark有什么方法可以在 spark 中建立与 redshift 数据库的静态连接

【发布时间】：2020-04-27 12:18:38

【问题描述】：

我正在使用 spark API spark.read.jdbc(String url,String table,java.util.Properties properties)。它使用从数据库表返回的架构创建一个数据框。

每当我调用上述 API 时，它都会创建一个到数据库集群的连接请求。有没有办法在上面的 API 中传递或创建单例的东西？

【参考方案1】：

Spark 是惰性求值的，因此它只会在触发任何操作时触发，例如.load()。我认为在执行下一个操作之前，Spark 不可能保持与 Redshift 的连接打开。这是 Spark 的功能，它会延迟获取连接并在完成操作后立即释放。

【讨论】：

我是否得到任何 load() 代码以便更好地理解

github.com/apache/spark/blob/master/sql/core/src/main/scala/org/…