启动 jupyter-pyspark 内核时生成损坏的文件

Posted 2023-04-15

【中文标题】启动 jupyter-pyspark 内核时生成损坏的文件

【英文标题】：Corrupt file getting generated when launching jupyter-pyspark kernel

【发布时间】：2019-08-19 19:09:05

【问题描述】：

我们已经在我们的两台带有 pyspark 内核的 linux hadoop 服务器上安装并设置了 jupyter notebook。两台服务器都具有相同的 kernel.jason 配置，具有相同的 spark 和 pyhton 版本。 在一台服务器上 jupyter notebook ui --> pyspark 内核工作正常，但在其他服务器上启动 pyspark 内核时，在用户主目录中生成了一个文件（名称 - ??????????），能够在打开的 pyspark 内核会话中执行查询，但是当新的 jupyternotebook ui 启动并在相应的 pyspark 内核中时，无法执行查询。我们只能在删除 ??????? 后才能执行生成并重新启动 jupyter notebook 的文件。 - 我们看到所有用户的这种行为，并且只发生在一台服务器上。有人可以帮忙解决这个问题。 版本： Python 2.7.12 星火 2.1.1

执行的步骤：

-验证 pyspark 内核配置，jupyter 运行在其他没有问题的服务器上。

-在服务器上重新启动 spark 客户端

-尝试重启服务器，但未解决问题。

【问题讨论】：

能否请一些人帮助解决这个问题，如果需要任何其他信息，请告诉我。

【参考方案1】：

看起来可能是服务器硬件的问题