spark配置参数

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了spark配置参数相关的知识,希望对你有一定的参考价值。

~/.bashrc

export SPARK_HOME=/usr/local/spark

export PATH=$PATH:$SPARK_HOME/bin

/usr/local/spark/conf/log4j.properties

/usr/local/spark/conf/spark-env.sh

export SPARK_MASTER_IP=master

export SPARK_WORKER_CORES=XX

export SPARK_WORKER_MEMORY=XXXm

export SPARK_WORKER_INSTANCES=XX

/usr/local/spark/conf/slaves

 spark standalone默认端口7077

管理ui端口8080

以上是关于spark配置参数的主要内容,如果未能解决你的问题,请参考以下文章

Spark配置参数

转 Spark参数配置

Spark中配置参数的优化

配置 spark 应用程序参数的最佳策略是啥?

Spark-submit参数优化配置

Spark-submit参数优化配置