pyspark案例系列10-java.lang.ClassNotFoundException: com.mysql.jdbc.Driver
Posted 只是甲
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了pyspark案例系列10-java.lang.ClassNotFoundException: com.mysql.jdbc.Driver相关的知识，希望对你有一定的参考价值。
文章目录
一. 需求
今天在spark集群上运行一个任务，报如下错误:
java.lang.ClassNotFoundException: com.mysql.jdbc.Driver
二. 解决方案
根据报错信息我们可以知道，缺少java连接mysql的的jar包。
此时我们需要找到spark的lib目录，然后将jar包拷贝到该目录，这样我们程序就可以读取到该jar包。
我使用的是CDH 6.3.1版本，目录如下:
/opt/cloudera/parcels/CDH-6.3.1-1.cdh6.3.1.p0.1470567/lib/spark/jars
以上是关于pyspark案例系列10-java.lang.ClassNotFoundException: com.mysql.jdbc.Driver的主要内容，如果未能解决你的问题，请参考以下文章
Spark 1.5.0 (PySpark) 案例当逻辑和滞后窗口函数
Python应用实战案例-pyspark库从安装到实战保姆级讲解