spark 集群处理后转单机pyspark 或 pands 数据处理 的方法

Posted 2021-12-20 shiter

文章大纲

• • spark 环境下载
  • conda 环境
  • spark dataframe 转换为pandas dataframe 的数据类型对应
  • python 执行 字符串代码
• 参考文献

---

spark 环境下载

历史包列表：
https://archive.apache.org/dist/spark/

conda 环境

# pyspark 2.X 版本的python 必须是3.7 或者3.6 ，高的会报错。
conda create -n pyspark_247 python=3.7

版本不对可能会碰见如下报错：

File "/xxx/xxx/lib/python3.9/site-packages/pyspark/cloudpickle.py"