Python执行spark程序配置

Posted 2020-10-08

spark没有配置Python环境变量的时候使用Python只用spark时候回出现

from pyspark import SparkConf,SparkContent
ImportError: No module named pyspark

所以要在环境变量中配置

打开

vim /etc/profile

添加

export SPARK_HOME=/usr/local/spark2.2
export PYTHONPATH=$SPARK_HOME/python/:$SPARK_HOME/python/lib/py4j-0.10.4-src.zip:$PYTHONPATH

添加过spark环境变量的这里直接用就行

然后重启电脑或者 source /etc/profile  当前可用

 

附上一段Python读取文本统计行数的代码

from pyspark import  SparkConf,SparkContext

conf = SparkConf().setMaster("local").setAppName("My App")
sc= SparkContext(conf=conf)

lines = sc.textFile("/root/opt/world/test.txt")
print lines.count()