Spark Trino 连接

Posted 2023-03-21

【中文标题】Spark Trino 连接

【英文标题】：Spark Trino Connection

【发布时间】：2021-12-14 17:27:58

【问题描述】：

目前我正在使用带有 Trino 363 的 Spark 3.2.0。我正在尝试连接到 Trino，但出现错误。错误信息如下。

线程“main”java.sql.SQLException 中的异常：无法识别的连接属性“url”

请在下面找到我正在使用的代码。

    val sparkSession = SparkSession.builder().appName("Trino-Spark")
                                    .master("local[*]")
                                    .getOrCreate()

    val properties = new Properties()
    properties.setProperty("SSL", "true")
    properties.setProperty("SSLVerification", "NONE")
    properties.setProperty("user", "USERNAME")
    properties.setProperty("password", "PWD")

    val df = sparkSession.read.jdbc("jdbc:trino://HOST:PORT/hive", "hive.TABLE_NAME", properties)

    println(s"Count: $df.count()")

请任何人帮助我指出这里有什么问题。提前致谢。

【参考方案1】：

我能够使用 Trino 363 运行 spark 3.2.0。我已将下面提到的行注释掉并重新构建 JDBC 驱动程序。

Trino 363 JDBC Driver