ModuleNotFoundError: No module named 'pyspark' 解决方案

Posted 2020-12-20 rhgaiymm

出现问题的原因是在执行python xxx.py 时系统找不到相关资源

Windows中：

由于我的Windows中没有装Spark，所以直接安装了Python的第三方包，pycharm中直接引用就行了

pip install pyspark

Linux中：

我的是Ubuntu18.04，自己在里面装了spark。

python是系统自带的，由于pyspark不在python的环境变量下，将资源的目录配置到python的环境变量下即可

export PYTHONPATH=${SPARK_HOME}/python:${SPARK_HOME}/python/pyspark.zip:${SPARK_HOME}/python/lib/py4j-0.10.8.1-src.zip:$PYTHONPATH

另外，还可以使用spark-sbumit xxx.py代替python xxx.py执行