Spark- Linux下安装Spark
Posted RZ_Lee
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Spark- Linux下安装Spark相关的知识，希望对你有一定的参考价值。
前期部署
1.JDK安装，配置PATH
2.下载spark-1.6.1-bin-hadoop2.6.tgz,并上传到服务器解压
3.在 /usr 下创建软链接到目标文件夹
[[email protected] usr]# ln -s spark-1.6.1-bin-hadoop2.6 spark
4.修改配置文件,目标目录 /usr/spark/conf/
[[email protected] conf]# ls docker.properties.template log4j.properties.template slaves.template spark-env.sh.template fairscheduler.xml.template metrics.properties.template spark-defaults.conf.template
这里需要把spark-env.sh.template改名为spark-env.sh
export JAVA_HOME=/usr/jdk #这个是单机版的配置，不能实现高可用 export SPARK_MASTER_IP=tourbis export SPARK_MASTER_PORT=7077
再配置slaves
以上是关于Spark- Linux下安装Spark的主要内容，如果未能解决你的问题，请参考以下文章
在这个 spark 代码片段中 ordering.by 是啥意思？