spark-submit之使用pyspark

Posted 2020-11-22 qi-yuan-008

在linux下，执行pyspark代码 —— 实测有效

1. 安装pycharm或者spyder，然后在其中编写代码和执行语句

2. 通过job来提交，即spark-submit提交，下面主要讲这种方法

首先假设，自己写的 *.py 文件包含了这些包，即通过import导入

import os
from pyspark import SparkContext
from pyspark.sql.session import SparkSession
from pyspark.sql import HiveContext
import jieba
from collections import Counter
from operator import itemgetter
import time
import ast
from pyspark.sql.types import StructField, StructType, StringType
from pyspark.sql import SQLContext

3. 那么利用spark-submit提交时，就需要将需要的包全部打包在一个zip文件中，注意的是：需要的包要先在同一个目录下，然后在该目录一起打包成zip文件，例如在有以上包的情形下，可以：

第一：建立一个文件夹，来存放所有包：

mkdir lib_words

第二：复制所需的包（一般都在python的安装目录的lib下，其中第三方库在site-packages里面）到该文件夹下，因为一个个选比较麻烦，所以就一起打包了，但是并未复制和打包pyspark库的包

cp -r /usr/local/python3.7/lib/python3.7/* /home/lib_words
cp -r /usr/local/python3.7/lib/python3.7/site-packages/* /home/lib_words

第三：打包zip

zip -r /home/lib_words.zip ./*

4. 在命令行，使用spark-submit提交 *.py主文件，并使用参数 ‘--py-files‘ 导入zip文件，然后回车执行

spark-submit /home/pycharm_projects/cut_words/cut_words_fre.py --py-files=‘/home/lib_words.zip‘

 

附加：首先通过在程序里面直接写入pyFiles参数（在SparkContext的参数中），然后直接提交运行：spark-submit /home/pycharm_projects/cut_words/cut_words_fre.py，实测也可

pyFiles=["/home/lib_words.zip"]#压缩的包的所在路径，可行
#pyFiles=["/home/test1.py","/home/test2.py"] #据说也可，但是因为文件太多，没有测试
sc = SparkContext(‘local‘, ‘test‘, pyFiles=pyFiles)

结果最后，其中有一行会出现：

19:55:06 INFO spark.SparkContext: Successfully stopped SparkContext

 

注：如果只有pyspark的包，可能不需要加入 *.zip 文件（未测试）

参考：

https://blog.csdn.net/lmb09122508/article/details/84586947

https://blog.csdn.net/MrLevo520/article/details/86738109

https://blog.csdn.net/qq_23860475/article/details/90479702