问题解决Selenium——NoSuchWindowException: Browsing context has been discarded

Posted 2022-05-19 囚生CY

昨天上服务器检查了一下小程序后端运行是否良好，发现与selenium有关的模块的进程全挂了。惊慌失措之下重试了爬虫模块的代码，发现本机上正常运行的代码，在ubuntu上运行时出现报错：

NoSuchWindowException: Browsing context has been discarded

百度了很久也没有得到确切的解释，有说是Firefox浏览器版本与驱动不兼容之类的，但是之前一个多月都有正常运行。

后来我觉得putty很卡，感觉可能是内存炸了，运行爬虫监测了一下内存，发现在点击搜索引擎时内存占用激增，直至报错。

但是尝试了很多方法都没有能够解决selenium内存占用导致崩溃的方法；

其中一个有稍许效果的方法是每次操作一步后就清理缓存?

browser = selenium.webdriver.Firefox()
browser.get("...")
browser.delete_all_cookies()
browser.find_element_by_xpath("...").click()
browser.delete_all_cookies()
...
browser.quit()

但是还是无法阻止OOM的发生。

后来发现内存溢出后还会出现各种各样奇怪的报错，总之报错不止上面这一种情况，有的记不清楚了，我都快要抓狂了。

回寝跟队友讲了这件事情，严密地分析了一阵子觉得要么是服务器内存太小不够容量，要么是服务器带宽不够卡死在一个页面上，要么是服务器流量将竭，网速太慢。

然后我们开始考虑要不要升级换个好一点的服务器，于是先重启了一下服务器。

重启完毕，一切都正常了，爬虫不卡了，错也不报了。

这个故事告诉我们，无论发生什么事，先restart再说。