spark单机模式

Posted 2020-08-16 puroc

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了spark单机模式相关的知识，希望对你有一定的参考价值。

1、下载spark，解压
2、复制conf/spark-env.sh和conf/log4j.properties

cp spark-env.sh.template spark-env.sh
cp log4j.properties.template log4j.properties

3、编辑spark-env.sh，设置SPARK_LOCAL_IP，docker-1为主机名，对应IP为10.10.20.204

export SPARK_LOCAL_IP=docker-1

4、运行example，执行如下命令

bin/run-example org.apache.spark.examples.SparkPi

5、启动shell

bin/spark-shell

6、访问ui，http://10.10.20.204:4040

以上是关于spark单机模式的主要内容，如果未能解决你的问题，请参考以下文章