当我的 jupyter notebook 越来越大时,VScode ssh 连接中断
Posted
技术标签:
【中文标题】当我的 jupyter notebook 越来越大时,VScode ssh 连接中断【英文标题】:VScode ssh connection breaks when my jupyter notebook gets bigger and bigger 【发布时间】:2021-11-18 22:57:54 【问题描述】:我正在尝试通过 ssh 远程连接使用 Jupyter notebook。连接和笔记本在小型 jupyter 笔记本上运行良好,但是当我在我的 jupyter 笔记本上添加更多单元格时,首先当我按下执行按钮时开始执行单元格的时间越来越长,然后最终断开连接,我需要每 20 秒重新输入一次密码,因为它一直断开连接。我收到以下错误/终端输出:
[15:46:43.714] Remote server is listening on 43791
[15:46:43.714] Parsed server configuration: "serverConfiguration":"remoteListeningOn":"port":43791,"osReleaseId":"opensuse-leap","arch":"x86_64","webUiAccessToken":"","sshAuthSock":"","display":"","tmpDir":"/run/user/3012","platform":"linux","connectionToken":"aa11aaaa-1a11-1a11-a1a1-11111a1a1aa1","serverStartTime":147,"installUnpackCode":""
[15:46:43.716] Starting forwarding server. localPort 59541 -> socksPort 52328 -> remotePort 43791
[15:46:43.718] Forwarding server listening on 59541
[15:46:43.718] Waiting for ssh tunnel to be ready
[15:46:43.722] Tunneled 43791 to local port 59541
[15:46:43.722] Resolved "ssh-remote+weller1" to "127.0.0.1:59541"
[15:46:43.723] [Forwarding server 59541] Got connection 0
[15:46:43.731] ------
[15:46:43.742] [Forwarding server 59541] Got connection 1
[15:46:43.988] [Forwarding server 59541] Got connection 2
[15:47:01.781] [Forwarding server 59541] Got connection 3
[15:47:01.782] [Forwarding server 59541] Got connection 4
[15:51:35.972] [Forwarding server 59541] Got connection 5
[15:52:28.188] [Forwarding server 59541] Got connection 6
[15:53:31.701] [Forwarding server 59541] Got connection 7
[15:54:04.297] [Forwarding server 59541] Got connection 8
[15:55:16.325] [Forwarding server 59541] Got connection 9
[15:58:21.682] ------
[15:58:21.683] SSH Resolver called for "ssh-remote+weller1", attempt 2, (Reconnection)
[15:58:21.683] SSH Resolver called for host: weller1
[15:58:21.683] Setting up SSH remote "weller1"
[15:58:21.687] Using commit id "7f6ab5485bbc008386c4386d08766667e155244e" and quality "stable" for server
[15:58:21.692] Install and start server if needed
[15:58:21.701] Running script with connection command: ssh -T -D 57477 weller1 bash
[15:58:21.705] Terminal shell path: C:\WINDOWS\System32\cmd.exe
[15:58:22.047] > ]0;C:\WINDOWS\System32\cmd.exe
[15:58:22.048] Got some output, clearing connection timeout
[15:58:23.588] > Password:
[15:58:23.588] Showing password prompt
[15:58:28.679] Got password response
[15:58:28.680] "install" wrote data to terminal: "*************"
[15:58:28.699] >
[15:58:31.639] > Password:
[15:58:31.640] Showing password prompt
[15:58:36.709] Got password response
[15:58:36.710] "install" wrote data to terminal: "**************"
[15:58:36.733] >
[15:58:42.020] > Password:
[
我尝试查看此堆栈溢出问题:VSCode Remote SSH Connection Failed 但不明白如何解决我的问题,我对 vscode 和 ssh 连接真的很陌生,我不明白他们在讲述的步骤答案.. 谁能帮帮我?
【问题讨论】:
【参考方案1】:有一个类似的问题,我没有断开连接,但一切都非常缓慢。在深入研究了一段时间后发现,使用 plt.imshow 渲染图像(尤其是高分辨率图像)会使我的客户端上传大量内容,并且即使在图像被渲染之后,它也会扰乱我的连接。
我认为每次我更改或执行诸如执行单元格之类的操作时,它都会将整个笔记本上传到服务器。由于我的上传速度很差,每次都需要上传一些 MB,这会干扰我的连接,使一切变得缓慢且无响应。
我的解决方案是清除渲染图像的单元格输出。
我猜问题是每次笔记本发生变化时,它都需要整体上传才能更新。这些图像使文件变大了一些 MB 而不是一些 KB,我想任何可以使 .ipynb 文件变大的东西都会导致同样的问题。
【讨论】:
非常感谢您的回答,我会试试的!【参考方案2】:能否尝试增加远程机器(wsl 或其他)的内存限制?
有些人遇到了同样的问题。详情可以参考here和here。
【讨论】:
非常感谢您的回复,这是一个好的开始!但是我试图根据您链接我的问题增加内存限制,但它不起作用......您可能知道如何增加 VScode 中的内存?我对终端、bash、VScode、WSL、Jupyter notebook 等感到很迷茫……我不知道在哪里输入这些东西,我根本没有信息学背景,这对我来说真的很难理解……:/ 我使用此链接hendisuhardja.medium.com/… 来增加我的 WSL 内存限制,它似乎工作得更好一些,但它仍然经常断开连接并且需要很长时间才能执行单元...以上是关于当我的 jupyter notebook 越来越大时,VScode ssh 连接中断的主要内容,如果未能解决你的问题,请参考以下文章
当我尝试在 VSCODE 上运行 jupyter notebook 时,未显示张量板输出
在 jupyter notebook 中使用数字键盘编辑快捷方式
Jupyter Notebook 无法访问 Bigquery
为什么我不能在我的Jupyter Notebook(Python 3.6)中导入utils,尽管它已经安装了?