Spark环境准备

Posted ruanchao

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Spark环境准备相关的知识,希望对你有一定的参考价值。

Ubuntu:

1、下载spark-2.2.1-bin-hadoop2.7.tgz,解压即可使用。

2、下载jdk-8u151-linux-x64.tar.gz,解压。

3、执行spark-2.2.1-bin-hadoop2.7/bin/pyspark,进入Spark运行环境。

4、测试:

>>> import sys
>>> import pyspark
>>> sc
<SparkContext master=local[*] appName=PySparkShell>
>>>

以上是关于Spark环境准备的主要内容,如果未能解决你的问题,请参考以下文章