Spark环境准备
Posted ruanchao
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Spark环境准备相关的知识,希望对你有一定的参考价值。
Ubuntu:
1、下载spark-2.2.1-bin-hadoop2.7.tgz,解压即可使用。
2、下载jdk-8u151-linux-x64.tar.gz,解压。
3、执行spark-2.2.1-bin-hadoop2.7/bin/pyspark,进入Spark运行环境。
4、测试:
>>> import sys
>>> import pyspark
>>> sc
<SparkContext master=local[*] appName=PySparkShell>
>>>
以上是关于Spark环境准备的主要内容,如果未能解决你的问题,请参考以下文章