Pyspark Zeppelin - 无法打开 PythonInterpreter

Posted 2023-03-23

【中文标题】Pyspark Zeppelin - 无法打开 PythonInterpreter

【英文标题】：Pyspark Zeppelin - Fail to open PythonInterpreter

【发布时间】：2021-07-15 20:26:32

【问题描述】：

我是 Zeppelin 和 Pyspark 的新手。

我试图让 Zeppelin 与 Pyspark 一起运行，但徒劳无功。

我的设置：

4 x 覆盆子 4(8GB) Ubuntu 服务器 64 位 20.04 Hadoop：3.2.2 纱线 Spark 3.1.1 和 Hadoop 集成 齐柏林飞艇 0.9

Pi01 作为 Master Pi02-04 作为 Worker。 Spark 安装在所有 Pi 上。

Hadoop 和 Yarn 运行没有任何问题。 Pyspark shell 运行，我可以执行命令。

但 zeppelin 中的相同命令失败..

java.io.IOException：无法运行程序“python”：错误=2，没有这样的文件或目录

但是，Zeppelin %Pyspark 和 %python 不起作用。我现在已经搜索了很多小时，但没有找到解决方案（从 Debian 切换到 Ubuntu 并再次返回）。

我也尝试使用 Jupyter Notebook 从我的 Win10 PC 访问 Spark Master，但我不知道该怎么做，最后放弃了。

有什么想法吗？

感谢您的帮助。

【参考方案1】：

最后，我得到了它的工作。我使用了 Spark 2.4.7 版，现在它可以工作了。我不知道这是巧合还是真的有必要。