在linux上如何配置spark环境，在linux上安装scala和spark老是失败

Posted 2023-03-30

方法/步骤

首先你的机器安装了jdk，我的新机器，所以早上刚在centos上折腾了jdk，没有的也可以去参考下
下载安装包
scala-2.11.4.tgz
spark-1.2.0-bin-hadoop2.4.tgz
后面的包忘了之前哪找的了，需要的可以私我。将包传到服务器，解压
tar zxvf scala-2.11.4.tgz
tar zxvf spark-1.2.0-bin-hadoop2.4.tgz

配置环境变量
vim /etc/profile
加上以下对应内容：
export JAVA_HOME=/home/yy/jdk1.8
export SCALA_HOME=/home/yy/scala
export SPARK_HOME=/home/yy/spark-1.2.0-bin-hadoop2.4
export PATH=$PATH:$JAVA_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin
执行source /etc/profile使配置生效

修改spark配置
进入spark-1.2.0-bin-hadoop2.4/conf
复制模板文件：
cp spark-env.sh.template spark-env.sh
cp slaves.template slaves

编辑spark-env.sh
添加上你的对应信息：
export JAVA_HOME=/home/yy/jdk1.8
export SCALA_HOME=/home/yy/scala
export SPARK_MASTER_IP=172.20.0.204
export SPARK_WORKER_MEMORY=2g
export HADOOP_CONF_DIR=/home/yy/spark-1.2.0-bin-hadoop2.4/conf

编辑slaves
添加上你的对应信息，所有的集群的机器：
172.20.0.204
172.20.0.205

到此为止，前面所有的安装配置动作，在你的另一个机器上(所有的slave机器)同样的做一遍，即我这里的205机器

进入spark-1.2.0-bin-hadoop2.4/sbin/目录
执行：./start-all.sh
如果没有设置ssh免密码登陆，会要求输入密码
这时候jps查看多了个master和worker

浏览器查看集群信息
master地址+8080端口

启动Running Applications
在bin目录下执行：
MASTER=spark://172.20.0.204:7077 ./spark-shell
这时候就可以看到运行的app啦

同时可以查看jobs内容

slave机器上也运行app，这时候就可以看到运行的applications有两个啦。

好了，环境就算先搭起来啦，后面就是去调用吧。

http://jingyan.baidu.com/article/7e440953308f122fc0e2ef81.html追问

我按这个步骤做过，可是到中间有一条输入他提示没有这个文件或目录，可是我的都是在的啊

参考技术A 你说呢...