安装spark遇到的问题

Posted zhangjiahao

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了安装spark遇到的问题相关的知识,希望对你有一定的参考价值。

1.启动spark SQL时,报错:

   Caused by: org.datanucleus.store.rdbms.connectionpool.DatastoreDriverNotFoundException:

The specified datastore driver ("com.mysql.jdbc.Driver ") was not found in the CLASSPATH. Please check your CLASSPATH specification, and the name of the driver.
解决方案
$SPARK_HOME/conf/spark-env.sh文件中配置:export SPARK_CLASSPATH=$HIVE_HOME/lib/mysql-connector-java-5.1.6-bin.jar

以上是关于安装spark遇到的问题的主要内容,如果未能解决你的问题,请参考以下文章

python+spark程序代码片段

安装spark遇到的问题

Spark闭包与序列化

吐血经验在 windows 上安装 spark 遇到的一些坑 | 避坑指南

Spark编程实战-词频统计

Spark编程实战-词频统计