Apache Spark & JDBC：套接字异常：连接重置

Posted 2023-02-15

【中文标题】Apache Spark & JDBC：套接字异常：连接重置

【英文标题】：Apache Spark & JDBC : Socket Exception : Connection Reset

【发布时间】：2021-12-01 19:41:52

【问题描述】：

我们的 Spark Java 应用程序任务在运行时遇到异常 "com.microsoft.sqlserver.jdbc.SQLServerException: java.net.Socket Exception : Connection Reset"。

它使用以下代码与数据库建立连接，并且表有数百万条记录：

session.read().format("jdbc")
                        .option("url", dbProperties.getProperty("URL"))
                        .option("driverClass", dbProperties.getProperty("DRIVERCLASS"))
                        .option("username", dbProperties.getProperty("USERNAME"))
                        .option("password", dbProperties.getProperty("PASSWORD"))
                        .option("dbtable", "(" + formattedSQL + ") as " + tablenameDS)
                        .load();

在 Apache Spark 中有没有一种方法，它可以对数据库执行一些 X 连接重试，并在重试之间有延迟？

是否将以下属性“spark.task.maxFailures”的默认值从 4 增加，修复此问题？

【参考方案1】：

两种解决方案：

在option() 中添加特定于JDBC 的属性作为选项，例如connectRetryCount。您可以通过以下方式查看列表：https://docs.microsoft.com/en-us/sql/connect/jdbc/setting-the-connection-properties?view=sql-server-ver15。

在 URL 本身中添加 JDBC 属性。

您的代码可能如下所示：

session.read().format("jdbc")
    .option("connectRetryCount", 200)
    .option("url", dbProperties.getProperty("URL"))
    .option("driverClass", dbProperties.getProperty("DRIVERCLASS"))
    .option("username", dbProperties.getProperty("USERNAME"))
    .option("password", dbProperties.getProperty("PASSWORD"))
    .option("dbtable", "(" + formattedSQL + ") as " + tablenameDS)
    .load();

您可以在此处找到详细示例：https://github.com/jgperrin/net.jgp.books.spark.ch08/tree/master/src/main/java/net/jgp/books/spark/ch08/lab100_mysql_ingestion。

【讨论】：

我确实添加了以下设置，并在数据库级别终止了会话，但仍然没有重新连接。