记录一次爬虫报错：Message: Failed to decode response from marionette

Posted 2021-11-08 gunduzi

由于标题中的错误引发：

Message: Tried to run command without establishing a connection

解释：

先说一下我的爬虫架构，用的是firefox+selenium，上面的那个错误是因为浏览器退出之后，爬虫还要浏览器去执行一些命令，所以才报上面的错误，那第二个问题来了：

浏览器为什么会自动crash（崩溃）呢，一般来说都是因为资源不够用了，什么资源呢？内存资源，浏览器是很占用的内存，而且有的爬虫为了加快爬虫速度会让浏览器做缓存，

这样导致浏览器占用的内存更多

解决办法：

1.根据爬虫占用的资源情况，合适的增加内存

2.降低爬虫的速度，让浏览器有点空闲，特别是在启动多个浏览器的爬虫中