关于Linux下Spark的配置

Posted 2020-10-01

1 如果你是用scala，当我没说。这个随意都能搞得定

2 如果你是用python，你可以继续往后看。

 

因为spark的全量的安装包自己带的hadoop的环境，所以不需要自己去再配一个hadoop。[如果你有的话，则得确保版本兼容之类的时期]

单独解压缩一个spark的包，然后去修改相应的配置文件。[反正我是没有去配yarn的和hadoop的，直接默认，这里面坑太多了]

 

3 别忘记安装pyspark和py4j，anaconda 直接用pip就好。如果是anaconda用户，记得创建一个python的环境，conda create --name python python=3.6(这个是版本号，自己定义)

 

4 有了python环境了就可以去spark下面去试用python文件夹下的pyspark了。这个demo有的是，随便搜

5 pycharm也要改东西，这个也搜的到，无非就是PYTHON_PATH和SPARK_HOME之类的。

6 借助os的包：

import findspark
import os
PYSPARK_PYTHON = "/home/promoriarty/anaconda3/bin/python"
os.environ["PYSPARK_PYTHON"] = PYSPARK_PYTHON
from pyspark import SparkConf,SparkContext

conf = SparkConf().setAppName("test").setMaster("local")
sc = SparkContext(conf=conf)
text = sc.textFile("file:///home/promoriarty/1")
text.foreach(print)

反正我是这样把demo跑起来了。。折腾了好久。。

参考:http://blog.csdn.net/huobanjishijian/article/details/52538078 
真是谢谢这个老哥了。