ModuleNotFoundError: No module named 'pyspark' 解决方案

Posted rhgaiymm

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了ModuleNotFoundError: No module named 'pyspark' 解决方案相关的知识,希望对你有一定的参考价值。

出现问题的原因是在执行python xxx.py 时系统找不到相关资源

Windows中:

由于我的Windows中没有装Spark,所以直接安装了Python的第三方包,pycharm中直接引用就行了

pip install pyspark

Linux中:

我的是Ubuntu18.04,自己在里面装了spark。

python是系统自带的,由于pyspark不在python的环境变量下,将资源的目录配置到python的环境变量下即可

export PYTHONPATH=${SPARK_HOME}/python:${SPARK_HOME}/python/pyspark.zip:${SPARK_HOME}/python/lib/py4j-0.10.8.1-src.zip:$PYTHONPATH

另外,还可以使用spark-sbumit xxx.py代替python xxx.py执行

以上是关于ModuleNotFoundError: No module named 'pyspark' 解决方案的主要内容,如果未能解决你的问题,请参考以下文章

ModuleNotFoundError: No module named 'gdbm'

Python:ModuleNotFoundError: No module named 'windows'

PySpark 自定义 UDF ModuleNotFoundError: No module named

用Java调用.py程序出现ModuleNotFoundError: No module named 'java'

ModuleNotFoundError: No module named 'jupyter_contrib_nbextensions' .ipynb文件转换.py文件时遇到错误(示例

ModuleNotFoundError: No module named 'jupyter_contrib_nbextensions' .ipynb文件转换.py文件时遇到错误(示例