Apache Spark 使用的 python 版本

Posted 2023-04-15

【中文标题】Apache Spark 使用的 python 版本

【英文标题】：The version of python used by Apache Spark

【发布时间】：2015-07-27 17:31:41

【问题描述】：

Apache Spark 库支持什么版本的 Python（2 或 3）？ 如果两个版本都支持，那么在使用Apache-Spark时使用python 2或3有什么性能考虑吗？

【参考方案1】：

至少从 Spark 1.2.1 开始，如果没有使用PYSPARK_PYTHON 或PYSPARK_DRIVER_PYTHON 进行其他设置（请参阅bin/pyspark），默认的 Python 版本是 2.7。

自 Spark 1.4.0 起支持 Python 3（请参阅 SPARK-4897 和 Spark 1.4.0 release notes）。

选择一个而不是另一个应该取决于您的要求。如果您不确定，阅读Should I use Python 2 or Python 3 for my development activity? 可能是明智的。除此之外，对于 SO 来说，这很可能是一个广泛而主观的话题。