02环境搭建
Posted 一条coding
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了02环境搭建相关的知识,希望对你有一定的参考价值。
大家好,我是一条~
5小时推开Spark的大门,第二小时,带大家搭建开发环境。
主要分两步,
- Spark的安装
- Scala环境的搭建
话不多说,动起来!
Spark的安装
Spark是基于Scala语言编写的,需要运行在JVM上,运行环境Java7以上,本文使用Java8,Centos7。
用Python也是可以的,但本教程不详细讲。
1.下载Spark
我使用的是腾讯云的服务器,没有的同学用虚拟机也是可以的,Win和Mac如何安装虚拟机不再赘述,CSDN有很多教程,也比较简单。
记得要配置好Java的环境变量哦!
首先使用wget
下载安装包(也可以本地下载之后上传)
cd /data/opt/spark
wget --no-check-certificate https://downloads.apache.org/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz
以上是关于02环境搭建的主要内容,如果未能解决你的问题,请参考以下文章