一零零八 File “/spark/python/lib/pyspark.zip/pyspark/cloudpickle“ line 5，No module name‘jieba’
Posted 托马斯-酷涛
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了一零零八 File “/spark/python/lib/pyspark.zip/pyspark/cloudpickle“ line 5，No module name‘jieba’相关的知识，希望对你有一定的参考价值。
File "/export/server/spark/python/lib/pyspark.zip/pyspark/cloudpickle/cloudpickle.py", line 562, in subimport
__import__(name)
ModuleNotFoundError: No module named 'jieba'
在使用pyspark开发过程中，库中明明已经安装了jieba库但依旧提示No module named 'jieba'，
原因：
其实原因是由于spark框架是一种并行运算框架，当以local模式运行时，程序只在当前节点运行，pyspark用的只有当前的python环境。但是当以集群模式运行的时候每个节点的python必须一致，因为同一段代码会在各个worker节点执行。解决办法就是在每个节点上都安装相同的python包，这个问题中就是要在每个节点上都安装jieba包。
以上是关于一零零八 File “/spark/python/lib/pyspark.zip/pyspark/cloudpickle“ line 5，No module name‘jieba’的主要内容，如果未能解决你的问题，请参考以下文章
Spark [Python] - 在 Windows 中读取本地文件
Perl 语言输入输出怎么写？控制结构如何用？看这一篇就够了！