pyspark 连接mysql数据库

Posted 2020-09-25 迷失之路

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了pyspark 连接mysql数据库相关的知识，希望对你有一定的参考价值。

　　1：载mysql-connector 放入 jars下

2：在spark-env.sh中配置EXTRA_SPARK_CLASSPATH环境变量

　　export EXTRA_SPARK_CLASSPATH=/home/fly/spark-2.1.1-bin-hadoop2.7/jars/

df = sqlContext.read.format("jdbc").options(url="jdbc:mysql://localhost:3306?user=root&useSSL=false", dbtable="db.tablename").load()

　　df.show()

以上是关于pyspark 连接mysql数据库的主要内容，如果未能解决你的问题，请参考以下文章