Ubuntu Spark 环境搭建（转）

Posted 2020-10-09 段子手实习生

在安装Spark之前，我们需要在自己的系统当中先安装上jdk和scala 
可以去相应的官网上下载： 
JDK：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 
scala：http://www.scala-lang.org/download/ 
下载完成后可以得到这样两个压缩包 

安装JDK

首先我们先来安装jdk,

sudo mkdir /usr/lib/jdk

• 1

用这条语句来创建jdk的安装目录，这里我们计划装到/usr/lib/jdk目录下， 
然后切换到jdk压缩包所在的目录，比如这里我们把包放在了~/Desktop目录下

cd ~/Desktop

• 1

执行解压缩命令，把压缩包解压缩到/usr/lib/jdk目录下

sudo tar -zxvf jdk-8u91-linux-x64.tar.gz -C /usr/lib/jdk

• 1

注意这里需要root权限。不然没有办法往/usr/lib/jdk目录中写数据 
然后我们需要配置PATH路径，让jdk命令在任何路径下都能够直接执行

sudo vim /etc/profile

• 1

打开配置文件，有些教程会让你编辑自己目录下的~/.bashrc文件，.bashrc文件的改动只会对当前用户产生作用，而/etc/profile的改动在重启之后会对所有用户都起作用 
在配置文件的最后加上

export JAVA_HOME=/usr/lib/jdk/jdk1.8.0_91   
export JRE_HOME=${JAVA_HOME}/jre  
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib  
export PATH=${JAVA_HOME}/bin:$PATH

• 1
• 2
• 3
• 4

JAVA_HOME的路径根据自己解压缩的目录来配置。 
然后推出vim，如果你不会用vim，可以在所有命令中出现vim的地方用gedit来代替，下面也是一样。

source /etc/profile

• 1

当前终端重新载入/etc/profile配置文件，然后执行一下

java

• 1

如果出现一大串东西，那么恭喜你你的jdk安装成功了，否则很有可能你的环境配置出了问题，请仔细检查。

安装scala

接着我们需要安装scala具体的安装过程和jdk很像， 
首先也是创建安装目录

sudo mkdir /usr/lib/scala

• 1

然后是将压缩包解压缩

sudo tar -zxvf scala-2.11.8.tgz -C /usr/lib/scala

• 1

最后打开/etc/profile,在最后添加配置

export SCALA_HOME=/usr/lib/scala/scala-2.11.8
export PATH=${SCALA_HOME}/bin:$PATH

• 1
• 2

退出后，进行source /etc/profile 
然后执行scala，出现如下界面说明安装成功 
 
可以在这里输入 
：quit 
退出scala

安装spark

安装完了上面这些之后我们需要安装今天的主角Spark了，首先去官网下载我们需要的包 
http://spark.apache.org/downloads.html 
这个是它的下载地址，需要注意的是，我们在Choose a package type:这里选择的是Pre-Build for Hadoop2.6 

然后点击下面的Download Spark链接开始下载。 
完成后会出现这个文件 
同样我们需要给spark一个安装目录

sudo mkdir /usr/lib/spark

• 1

解压缩文件

sudo tar -zxvf spark-1.6.1-bin-hadoop2.6.tgz -C /usr/lib/spark

• 1

在/etc/profile中配置

export SPARK_HOME=/usr/lib/spark/spark-1.6.1-bin-hadoop2.6
export PATH=${SPARK_HOME}/bin:$PATH

• 1
• 2

source /etc/profile 
之后，执行 
pyspark

出现这个就说明安装已经完成，你可以在这里输入相应的python代码来执行操作。

python中使用pyspark

当然了,我们在之后的开发过程中，不可能说只在这么一个解释器中开发，所以接下来我们要做的是让python能够加载spark的库。

所以我们需要把pyspark添加到python的寻找目录当中，同样我们需要编辑/etc/profile文件，在最后添上

export PYTHONPATH=/usr/lib/spark/spark-1.6.1-bin-hadoop2.6/python:/usr/bin/python

• 1

这样就把spark目录下的python库添加到了python的找寻目录中

但是由于python需要去调用java的库所以在/usr/lib/spark/spark-1.6.1-bin-hadoop2.6/python路径下我们需要添加一个py4j的文件夹，这个文件可以在/usr/lib/spark/spark-1.6.1-bin-hadoop2.6/python/lib目录下找到，在这个目录下有一个py4j-0.9-src.zip的压缩包，把他解压缩放到 
/usr/lib/spark/spark-1.6.1-bin-hadoop2.6/python/目录下就可以了 

当然这个操作需要在root权限下进行

这个时候在任意目录下输入python 
 
然后在这里输入

import pyspark

• 1

查看是否可以正确导入pyspark，如果没有出现任何提示，就说明pyspark能够正常导入。

这样就可以在任何地方编写.py文件，需要用到pyspark的地方用import导入即可。

pycharm导入pyspark

当然有些用户喜欢用pycharm来编写python，所以对于pycharm使用pyspark也做一下说明

首先我们需要点击右上角的下拉框，选择 Edit Configurations… 

然后在弹出的对话框中，点击Enviroment variables：右侧的编辑按钮 

点击加号添加两条新的数据， 
PYTHONPATH和 
SPARK_HOME 
数据内容和/etc/profile中对应的内容相同 
 
然后用下述代码测试

import pyspark

conf = pyspark.SparkConf().setAppName("sparkDemo").setMaster("local")
sc = pyspark.SparkContext(conf=conf)

• 1
• 2
• 3
• 4

出现
说明pycharm也能够正常载入pyspark了。

 

 

 

转自：http://blog.csdn.net/u010171031/article/details/51849562