如何在 apache toree pyspark notebook 中更改 python 版本？

Posted 2023-04-15

【中文标题】如何在 apache toree pyspark notebook 中更改 python 版本？

【英文标题】：How to change python version in apache toree pyspark notebook?

【发布时间】：2017-07-01 19:56:47

【问题描述】：

我正在为 Pyspark Notebook 运行 Apache Toree。我在 unix 机器上安装了 anaconda 3.5 和 jupyter hub。当我从 Jupyter notebook 调用 pyspark 时，它从 Python 2.7 而不是 Anaconda 3.5 开始。

请求您帮助更改 python 版本。

请参阅我已经尝试通过 os.environ 更改 python 版本，但没有成功。

【问题讨论】：

您是如何安装 Toree 的？设置时指定 Python 环境

首先通过 pip 安装。它安装在 anaconda 中。然后安装 jupyter toree。

谢谢。安装了带有 spark home 和 python 路径的新内核。 jupyter toree install --spark_home="spark_path" --kernel_name=tanveer_kernel1 --interpreters=PySpark,SQL --python="python_path"

【参考方案1】：

按照以下步骤使用 Python-3 配置 Toree：

安装了带有 spark home 和 python 路径的新内核。

jupyter toree install --spark_home="spark_path" --kernel_name=tanveer_kernel1 --interpreters=PySpark,SQL --python="python_path"

执行上述操作后，Driver Python 版本和 Executor Python 版本出现问题。通过添加 更正了 spark-env.sh 中的 Python 版本

导出 PYSPARK_PYTHON="/usr/lib/anaconda3/bin/python" 导出 PYSPARK_DRIVER_PYTHON="/usr/lib/anaconda3/bin/python"

已重新启动 spark 服务。