我正在学习如何从 Spark the Definitive Guide 一书中将 sqlite 连接到 spark

Posted 2023-04-15

【中文标题】我正在学习如何从 Spark the Definitive Guide 一书中将 sqlite 连接到 spark

【英文标题】：I'm learning how to connect sqlite to spark from the book Spark the Definitive Guide

【发布时间】：2020-09-25 22:31:19

【问题描述】：

我正在使用 Jupyter Notebook。

下面是提到的用于将pyspark 连接到 sqlite 的代码：

driver = "org.sqlite.JDBC"

path = "/data/flight-data/jdbc/my-sqlite.db"

url = "jdbc:sqlite:" + path

tablename = "flight_info"

dbDataFrame = spark.read.format("jdbc").option("url", url)\
.option("dbtable", tablename).option("driver", driver).load()

这给了我以下错误：

Py4JJavaError: An error occurred while calling o121.load.  
: java.lang.ClassNotFoundException: org.sqlite.JDBC

请帮我解决错误。

【问题讨论】：

欢迎来到 Stack Overflow。请按照建议添加您的搜索/研究工作的简短描述、代码、错误。

【参考方案1】：

问题

使用 JDBC API 的 Spark 无法找到“org.sqlite.JDBC”类，因为它不在 spark 的类路径中。

解决方案

您可以从 --> Maven Online Repository 下载 jar 文件并将其放在 jars 文件夹中。重启你的笔记本/应用程序

参考/资源

来自 maven 的 SQLITE JDBC 下载链接 - https://repo1.maven.org/maven2/org/xerial/sqlite-jdbc/3.28.0/sqlite-jdbc-3.28.0.jar

【讨论】：

太棒了！请将其标记为已接受的答案，以便其他在 *** 上搜索类似问题的人也可能会发现它很有用。