Spark|Ubuntu环境搭建

Posted 2021-04-25 Python与算法社区

在安装Spark之前，我们需要在自己的系统当中先安装上jdk和scala ，以及spark的下载链接，

JDK：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 

scala：http://www.scala-lang.org/download/ 

安装JDK

首先我们先来安装jdk, 在如下的目录创建一个jdk文件夹：

sudo mkdir /usr/lib/jdk

用这条语句来创建jdk的安装目录，这里我们计划装到/usr/lib/jdk目录下.

 然后切换到jdk压缩包所在的目录，比如这里我们把包放在了~/Desktop目录，

cd ~/Desktop

执行解压缩命令，把压缩包解压缩到/usr/lib/jdk目录下：

sudo tar -zxvf jdk-8u151-linux-x64.tar.gz -C /usr/lib/jdk

注意这里需要root权限。不然没有办法往/usr/lib/jdk目录中写数据 。

然后我们需要配置PATH路径，让jdk命令在任何路径下都能够直接执行

sudo vim /etc/profile

/etc/profile的改动在重启之后会对所有用户都起作用 ，在配置文件的最后加上：

export JAVA_HOME=/usr/lib/jdk/jdk1.8.0_151   

export JRE_HOME=${JAVA_HOME}/jre  export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib 

export PATH=${JAVA_HOME}/bin:$PATH

JAVA_HOME的路径根据自己解压缩的目录来配置。 

然后按esc退出编辑模式，进入命令模式，输入:w 保存，然后 :q 退出vim编辑器，

source /etc/profile

如果出现一大串东西，那么恭喜你你的jdk安装成功了，否则很有可能你的环境配置出了问题，请仔细检查。

安装Scala

同样的方法安装scala

安装Spark

同样的方法安装spark

出现上图，说明spark安装成功。