Spark环境准备

Posted ruanchao

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Spark环境准备相关的知识,希望对你有一定的参考价值。

Ubuntu:

1、下载spark-2.2.1-bin-hadoop2.7.tgz,解压即可使用。

2、下载jdk-8u151-linux-x64.tar.gz,解压。

3、执行spark-2.2.1-bin-hadoop2.7/bin/pyspark,进入Spark运行环境。

4、测试:

>>> import sys
>>> import pyspark
>>> sc
<SparkContext master=local[*] appName=PySparkShell>
>>>

以上是关于Spark环境准备的主要内容,如果未能解决你的问题,请参考以下文章

Spark2.1.0——运行环境准备

Spark on K8S环境部署细节

Linux下hadoop和spark的基础环境配置准备

新闻实时分析系统 Spark2.X环境准备编译部署及运行

Spark-Local模式环境搭建

(超详细) Spark环境搭建(Local模式 StandAlone模式Spark On Yarn模式)