SparkSQL使用Python从MySQL数据库表中读取[重复]

Posted 2023-04-17

【中文标题】SparkSQL使用Python从MySQL数据库表中读取[重复]

【英文标题】：SparkSQL read from MySQL database table using Python [duplicate]

【发布时间】：2016-04-25 01:49:27

【问题描述】：

我在 mysql 中有一个“用户”表。我想把它读到我的 Spark SQL 程序中。如何使用 Python 将表从 MySQL 读取到 Apache Spark 的 SparkSQL 模块？是否有我可以用于此任务的连接器？ 谢谢。

【参考方案1】：

有一个similar question answered。像这样开始pyspark

./bin/pyspark --packages mysql:mysql-connector-java:5.1.38

然后运行

sqlContext.read.format("jdbc").options(
url ="jdbc:mysql://localhost/mysql",
driver="com.mysql.jdbc.Driver",
dbtable="user",
user="root",
password=""
).load().take(10) 

这很可能会起作用。但这取决于你的 mysql 设置，所以如果它不尝试更改密码、用户名、db-url 和其他设置。