日常爬虫进阶技巧：selenium加载扩展插件（extension）与配置用户数据（user-data）

Posted 2022-01-19 囚生CY

文章目录

• 序言
• $\text{1 Selenium}$加载插件（$\text{Chromedriver}$）
• $\text{2 Selenium}$配置$\text{User Data}$的方法与用途（$\text{Chromedriver}$）
• $3$ 源码与运行说明
• 后记

---

序言

本文将简单阐述关于$\text{Python}$使用浏览器驱动（$\text{Selenium}$）中的配置（$\text{options}$）进阶性技巧：

from selenium import webdriver

chrome_options = webdriver.ChromeOptions()
# chrome_options.add_extension(...)
# chrome_options.add_argument(...)
# chrome_options.add_experimental_option(...)

最全的配置信息可以参考$\text{Chrome}$官网，如果无法翻墙，也可以搜到比较全的博客（如CSDN@Kosmoo），笔者不会介绍很多的配置选项，仅就配置插件与配置用户数据两点，结合实例进行阐述。

---

笔者撰写与爬虫相关的博客通常会围绕一个完整的爬虫任务流程进行梳理，极少选取这种技巧性的问题点来小题大做创作一篇博客。然而学习爬虫技巧并无捷径可行，只有在若干实践中不断发现障碍并设法解决后，你的经验才会不断提升，在以后遇到类似的瓶颈才能迎刃而解。

也许在阅读本文的你已经是能够熟练应用$\text{Selenium}$与$\text{JS}$逆向的方法的老手，认为在浏览器中所阅所闻都可以轻而易举地爬取得到，但是笔者确信你依然会在爬虫过程中仍然会遇到令人费解的问题，因为总是会有你不熟悉的知识。比如在相同的操作流程下，$\text{Selenium}$驱动与实际浏览器操作看到的页面并不相同，在这种情况下，笔者就会非常高兴，因为问题出现将意味着爬虫技能的提升，如果始终没有问题出现，只会说明潜在的问题会越来越多，爬虫本身也便是失去了乐趣。

序言的最后，笔者将介绍本文的爬虫任务。近期组内正在准备筹办$2021$年的国际会议，老板让我们去$\text{Engineering Village}$通过搜索各个会议名称得到若干论文链接，从中论文链接中可以获取论文作者的姓名与邮箱信息，用于发布会议征文邮件：

• $\text{Figure 1}$：$\text{Engineering Village}$搜索页面

由于笔者所在的高校没有访问$\text{Engineering Village}$数据库的权限，好在老板给了学霸图书馆的$\text{VIP}$（相当于借用其他高校的统一身份认证信息去访问$\text{Engineering Village}$，类似$\text{VPN}$）。然而校园网访问$\text{Engineering Village}$的效率实在是过于迟缓，而且经常性地会发生页面崩溃的情况，这使得人工完成收集姓名与邮箱的任务并不容易。

事实上去年在筹办会议时笔者已经写好了爬虫逻辑，虽然今年$\text{Engineering Village}$的页面完全没有发生更新，去年的爬虫逻辑依然可行，但是今年学霸图书馆提供的高校通道发生了更新，需要下载插件才能借用其他高校的统一身份认证信息去访问$\text{Engineering Village}$：

• $\text{Figure 2}$：插件安装说明。注意该插件只能在$\text{Chrome}$内核的浏览器中安装，火狐浏览器与$\text{Edge}$一定无法安装，因此本文的$\mathrm{S}\mathrm{e}\mathrm{l}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{u}\mathrm{m}$要求必须在$\text{Chrome}$上启用，需要先行安装$\text{Chromedriver}$，具体方法详见https://www.cnblogs.com/lfri/p/10542797.html

对本文的爬虫任务并不感兴趣的朋友，可以直接跳过接下来的序言内容直接阅读正文部分。

如果对本文所述的爬虫任务感兴趣的朋友，可以去学霸图书馆申请注册一个新账号，登录账号后访问Welcome页面可以获得免费的$24$小时$\text{VIP}$体验，这将有利于你对接下来本文爬虫代码的使用。重新登陆账号后进入数据库大全，在外文数据库大全中找到$\text{Engineering Village EI}$工程链接进入：

• $\text{Figure 3}$：找到$\text{Engineering Village EI}$工程数据库链接

即可找到以下两个通道，注意这两个通道可能过一段时间就不存在了，去年笔者使用的是沈阳工业大学的通道，今年的两个分别是中科大与北航的通道，虽然以后通道可能也会发生变化，但是$\text{Engineering Village}$的爬虫逻辑通常是不会变的，因此本文爬虫的维护范围仅限于进入通道：

• $\text{Figure 4}$：找到高校通道链接

点击上图中任意一个通道链接即发现上文中所提及的插件：

• $\text{Figure 5}$：$2021$更新内容，需要安装插件访问通道，该插件的安装并不复杂，按照教程选择第二种$\text{zip}$格式的在$\text{Chrome}$中手动安装解压包，之后弃用可以直接彻底删除。

本文的问题从这里开始。

---

$\text{1 Selenium}$加载插件（$\text{Chromedriver}$）

第$1$点比较浅显。

即便你根据$\text{Figure 2}$在$\text{Chrome}$上安装好插件后，使用$\text{Chrome}$的$\text{Selenium}$驱动访问通道时依然会卡在$\text{Figure 5}$的提示页面上，这是一件很$\text{tricky}$的事情。

笔者不敢确信地说$\text{Selenium}$默认不会加载该插件，因为$\text{Figure 2}$中事实上提供了两种插件安装方法，但是第一种（$\text{crx}$文件）似乎无法在$\text{Chrome}$中安装，因此只能使用第二种（$\text{zip}$文件）安装方法，但是在本文第$3$部分源码中$\text{81-84}$行依然是可以为浏览器驱动配置安装$\text{crx}$的插件的。

chrome_options = webdriver.ChromeOptions()					 # 初始化Chrome选项
chrome_options.add_extension(self.extension_path)			 # 安装学霸图书馆通道插件
chrome_options.add_argument(r'user-data-dir=C:\\Users\\lenovo\\AppData\\Local\\Google\\Chrome\\User Data')
chrome_options.add_experimental_option('useAutomationExtension', False)

这是很有迷惑性的点，因为浏览器驱动（$\text{Selenium}$）中的配置（$\text{options}$）有一项是--disable-plugins，即禁用插件，看起来似乎如果不配置--disable-plugins参数，浏览器上已经安装的插件是会默认生效的。但是实践结果并非如此，即便不配置--disable-plugins参数，插件也不会默认启用，或者可能插件（$\text{plugins}$）与扩展（$\text{extensions}$）并不是指同一样事物？

另外无法使用add_extension方法安装$\text{zip}$格式的插件，虽然在$\text{Chrome}$的扩展安装页面中开启开发者模式时可以安装解压的$\text{zip}$文件。

总之省略第$3$部分源码中的第$82$行将无法跳过$\text{Figure 5}$页面，关于浏览器插件的问题仍然有待考察。

---

$\text{2 Selenium}$配置$\text{User Data}$的方法与用途（$\text{Chromedriver}$）

这是本次爬虫最令笔者费解的点。

事实上不用走$\text{Figure 4}$所示的通道也是有办法进入$\text{Engineering Village}$的，只要在登陆学霸图书馆后直接在地址栏中输入访问http://www.engineeringvillage.com即可得到$\text{Figure 1}$的页面（此时已经获得访问$\text{Engineering Village}$数据库的权限，可以进行搜索查询），这种方法其实会更加稳定。

但是笔者在使用$\text{Selenium}$驱动时，登陆学霸图书馆后直接在地址栏中输入访问http://www.engineeringvillage.com却始终只能停留在$\text{Welcome}$页面上，即仍然需要登陆验证权限。

• $\text{Figure 6}$：无法进入$\text{Figure 1}$所示的页面（停留在欢迎界面上）

这个问题困扰了笔者很长时间，最终只能屈服于走$\text{Figure 4}$的通道，但是$\text{Figure 4}$中给出的$\text{BUAA}$通道频繁的崩溃，甚至昨晚一夜到今早都没有修复，笔者确信这不是因为插件的问题，于是今早开始测试不同的$\text{options}$参数，想知道到底是哪个参数致使这两者的区别。

最终发现在第$3$部分源码中的第$83$行，即：

chrome_options.add_argument(r'user-data-dir=C:\\Users\\lenovo\\AppData\\Local\\Google\\Chrome\\User Data')

在添加了user-data-dir参数后，问题迎刃而解。

事实上这个参数将非常有用，许多历史记录、$\mathrm{C}\mathrm{o}\mathrm{o}\mathrm{k}\mathrm{i}\mathrm{e}$信息、网站登陆信息都保存在$\text{User Data}$文件夹中。如一些网站支持浏览器记住登陆信息，如果不添加$\text{User Data}$参数，这些被记住的信息是无法在$\text{Selenium}$驱动的浏览器中生效的，如果添加该参数，即可轻松的跳过很多网站的登陆验证，而可以免于复杂的验证码处理流程。

---

$3$ 源码与运行说明

源码与$\text{crx}$插件以及示例的关键词文本笔者已经上传至：

链接: https://pan.baidu.com/s/1F2AGagKI89Lqi2_leeo5gw 
提取码: hm4q

最后笔者提供本爬虫的完整代码。

仅需修改$\text{xuebalib.py}$中的$261,262,265$行的用户名、密码及$\text{crx}$插件路径即可运行。

另外你需要检查$83$行中的$\text{User Data}$路径是否与你计算机上的路径吻合，一般来说$\text{Windows}$系统中$\text{Chrome}$的用户数据路径都是C:\\Users\\lenovo\\AppData\\Local\\Google\\Chrome\\User Data，但是你最好重新确认一次。

代码格式已经做了优化，注释详细且控制台输出信息可读性较强。

# -*- coding: UTF-8 -*-
# @author: caoyang
# @email: [e-mail]

import time
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait

# 读取存放搜索关键词的文件
# 文件中的每一行只记录一条关键词
# 以'#'开头的行会被自动忽略, 尽量不要出现空行
def load_keywords(filepath: str) -> list:
	with open(filepath, 'r', encoding='utf8') as f:
		keywords = f.read().splitlines()
	return list(filter(lambda x: not x.startswith('#'), keywords))

class Xuebalib(object):
	
	def __init__(self, 
				 keywords: list, 
				 username: str, 
				 password: str, 
				 host: str, 
				 extension_path: str=None,								
				 mode: str='expert') -> None:
		self.keywords = keywords[:]
		self.username = username
		self.password = password
		self.host = host
		self.extension_path = extension_path							 # 与2020年的情况出现重大区别, 2021年学霸图书馆通道进入需要安装插件, 需下载crx格式的插件并记录路径
		self.mode = mode.strip().lower()
		assert self.mode in ['quick', 'expert'], f'Unknown mode: self.mode'
		
		self.max_trial_time = 8
	
	@staticmethod
	def get_detailurl(soup: BeautifulSoup) -> list:
		"""
		获取索结果页面上所有论文详情页面的链接:
		:param soup: 经过BeautifulSoup解析后的页面源代码;
		"""
		detaillinks = soup.find_all('a', class_='detaillink')
		detailurls = []
		for detaillink in detaillinks:
			detailurl = detaillink.attrs['href']
			detailurls.append(detailurl)
		return detailurls
	
	@staticmethod
	def get_author_and_email(soup: BeautifulSoup, ignore: bool=False) -> list:
		"""获取论文详情页面上的作者及对应的邮箱
		:param soup				: 经过BeautifulSoup解析后的页面源代码;
		:param ignore			: 是否忽略那些没有邮箱的作者, 默认不忽略;
		
		:return author_and_email: 作者和邮箱构成的二元组列表;
		"""
		author_and_email = []
		if ignore:
			emaillinks = soup.find_all('a', class_='emaillink')
			for emaillink in emaillinks:
				email = emaillink.attrs['href']
				authorlink = emaillink.find_previous_sibling('a', class_='authorSearchLink')
				author = str(authorlink.string)
				author_and_email.append((author, email))
		else:
			ul = soup.find('ul'以上是关于日常爬虫进阶技巧：selenium加载扩展插件（extension）与配置用户数据（user-data）的主要内容，如果未能解决你的问题，请参考以下文章
 
 爬虫进阶Selenium入门好文，强烈推荐 ! ! !
 Python 爬虫利器 Selenium 从入门到进阶
 爬虫进阶Selenium的常用方法（建议收藏）
 前端基础进阶（11）：详细图解jQuery对象，以及如何扩展jQuery插件
 爬虫进阶Selenium定位获取标签对象并提取数据
 0基础学爬虫爬虫基础之自动化工具 Selenium 的使用