chrome浏览器爬虫WebDriverException解决采用python + selenium + chrome + headless模式

Posted 2022-04-06 gaofighting

WebDriverException: Message: unknown error: Chrome failed to start: crashed

1. 背景
在使用selenium + chrome浏览器渲染模式爬取数据时，如果并发任务过多，或者爬虫的运行时间很长，那么很容易出现浏览器崩溃的现象，如下：

这一般是资源消耗过大造成的（据说chrome浏览器有内存泄漏的情况）。那如何解决这个问题呢？

这种情况下，我们首先就会想到使用无界面的浏览器PhantomJS，但是PhantomJS现在年久失修，后继无人，对很多新的特性支持并不够好。不过好在Google今年在chrome中增加了一项新的特性： Headless mode ，这样我们就可以使用无界面的chrome来爬取数据了，占用资源更少，速度更快。而且可喜的是，google的团队承诺会一直维护它…
2. 环境
系统：win10
python 3.6.5
IDE：jupyter notebook
安装过chrome浏览器（ 75.0.3770.100（正式版本） 64 位）
selenium 3.7.0
配置好ChromeDriver v2.46 

注意：

因为Headless mode 是新推出的特性，只有高级的版本才能使用，并不向前兼容，所以对chrome浏览器和chromedriver的版本有要求：
1. 对chrome浏览器来说：
linux，unix系统需要 chrome浏览器 >= 59
Windows系统需要 chrome浏览器 >= 60
2. chromeDriver版本与chrome浏览器匹配：
这个部分参考文章：https://www.cnblogs.com/gaofighting/p/10757013.html

代码：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.keys import Keys

chrome_options = webdriver.ChromeOptions()
# 使用headless无界面浏览器模式
chrome_options.add_argument(‘--headless‘)
chrome_options.add_argument(‘--disable-gpu‘)

# 启动浏览器，获取网页源代码
browser = webdriver.Chrome(options=chrome_options)
mainUrl = "https://www.taobao.com/"
browser.get(mainUrl)
print(f"browser text = browser.page_source")
browser.get_screenshot_as_file("test.png")#获取截图
browser.quit()