Spark配置

Posted studynotessl

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Spark配置相关的知识,希望对你有一定的参考价值。

解压和重命名文件
tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz
mkdir /opt/spark
mv spark-2.2.0-bin-hadoop2.7 /opt/spark/spark2.2
进入配置文件目录
cd /opt/spark/spark2.2/conf/

cp spark-env.sh.template spark-env.sh

编辑 spark-env.sh 在第二行空白处添加信息
vim spark-env.sh
export SPARK_DIST_CLASSPATH=$(/opt/hadoop/hadoop2.7/bin/hadoop classpath)

技术图片

配置环境变量
vim /etc/profile
# Spark Config
export SPARK_HOME=/opt/spark/spark2.2

export PATH=.:$JAVA_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZK_HOME/bin:$HBASE_HOME/bin:$HIVE_HOME/bin:$KAFKA_HOME/bin:$SQOOP_HOME/bin:$FLUME_HOME/bin:$STORM_HOME/bin:$PATH
复制mysql驱动到spark的jars包里面
cp mysql-connector-java-5.1.41.jar /opt/spark/spark2.2/jars/
启动Hadoop
start-all.sh
运行spark自带的example
/opt/spark/spark2.2/bin/run-example SparkPi 2>&1 | grep "Pi is"

技术图片

运行spark-shell
/opt/spark/spark2.2/bin/spark-shell 

技术图片

以上是关于Spark配置的主要内容,如果未能解决你的问题,请参考以下文章

spark 相关配置 shuffle 相关配置选项

Spark配置参数

Spark官方文档: Spark Configuration(Spark配置)

Spark配置详解

Spark 安装和配置

Spark中文手册11:Spark 配置指南