[Python自学] 爬虫selenium

Posted 2020-12-22 风间悠香

一、准备工作

1.安装selenium

pip install selenium

2.下载安装chromedriver.exe

注意：如果Chrome在自动更新的话，可能会导致运行出现问题，我们应该去系统服务中禁用Chrome的自动更新服务。

下载chromedriver.exe：

http://chromedriver.storage.googleapis.com/index.html

【除了该下载地址，还可以去淘宝镜像下载：https://developer.aliyun.com/mirror/NPM?from=tnpm

其中提供了phantomjs，chromedriver，OperaDriver等镜像地址。】

 

下载与自己Chrome浏览器版本接近的版本（大版本号一定要对应上）。

可以按照以下方式查看版本是否能对应：

下载完毕后，将chromedrive.exe拷贝到Chrome浏览器根目录：

Chrome根目录：C:\\Program Files (x86)\\Google\\Chrome\\Application

以上是我的路径。

将Chrome根目录加到系统环境变量中：

即保证selenium能够执行chromedriver.exe程序即可（所在目录添加在系统变量）。

二、简单使用selenium

1.打开baidu首页

import time
from selenium import webdriver

# 创建一个Chrome浏览器实例
driver = webdriver.Chrome()
# 打开百度首页
driver.get("http://www.baidu.com")

# 睡眠5s观察效果
time.sleep(5)
# 退出浏览器
driver.quit()

2.在百度首页自动搜索"python"

import time
from selenium import webdriver

# 创建一个Chrome浏览器实例
driver = webdriver.Chrome()

# 设置窗口大小为1920x1080
# driver.set_window_size(1920,1080)
# 设置窗口为全屏
driver.maximize_window()

# 打开百度首页
driver.get("http://www.baidu.com")

# 元素定位，找到百度的搜索输入框
driver.find_element_by_id("kw").send_keys(\'python\')
# 点击搜索
driver.find_element_by_id("su").click()

# 睡眠5s观察效果
time.sleep(5)
# 退出浏览器
driver.quit()

这样我们就完成了一次使用selenium来自动打开百度首页，并输入python进行搜索的流程。

3.获取cookie

使用以下方式获取所有的cookie：

import time
from selenium import webdriver

driver = webdriver.Chrome()
driver.get("http://www.baidu.com")

# 获取所有的cookie信息
cookies = driver.get_cookies()
# 只保留cookie的名称和值
cookies = {i[\'name\']: i[\'value\'] for i in cookies}
print(
    cookies)  # {\'H_PS_PSSID\': \'31622_1457_31325_21104_31110_31594_31464_31321_30823_26350\', \'BD_LAST_QID\': \'11445339033471882529\', \'BAIDUID\': \'7D5178AD3B9D241D5B1877CE5E2F5383:FG=1\', \'BIDUPSID\': \'7D5178AD3B9D241DC887CABE7DFF3DF4\', \'PSTM\': \'1589774143\', \'BD_UPN\': \'12314753\', \'BD_HOME\': \'1\'}

time.sleep(3)
driver.quit()  # 退出浏览器。另外driver.close()是关闭页面，当关闭了最后一个页面，则退出浏览器。

4.获取其他信息

driver.page_source  # 对应F12中Elements的内容

driver.current_url  # 对应当前访问的URL，即当前代码所在位置对应浏览器所在url

三、selenium页面元素定位

1.使用xpath查找元素

li_list = driver.find_elements_by_xpath("//ul[@id=\'detail-list\']/li")  # 获取多个li标签
for li in li_list:
    li.find_element_by_xpath(".//h1/p")  # 继续使用xpath获取其中的一个标签

注意，find_elements_by_xpath是获取多个标签的列表，而find_element_by_xpath是获取一个标签（第一个）。并且使用find_element_**方法，只能获取标签元素，而不能用于获取文本，例如 ".//h1/p/text()" 就不是一个标签，会报错： ".//h1/p/text()" is: [object Text]. It Shoud be an element. 

如果要获取标签的属性值：

li.find_element_by_xpath(".//h1/p").text
li.find_element_by_xpath(".//h1/a").get_attribute("href")

2.使用link的text来查找连接的url

例如页面上有一个按钮 下一页> ，我们想获取他对应的url连接：

driver.find_element_by_link_text("下一页>").get_attribute("href")

偏文本匹配（即局部包含文本）：

driver.find_element_by_partial_link_text("下一").get_attribute("href")

3.其他

除了以上查找元素的方式，selenium还支持其他的方式，例如：

driver.find_elements_by_tag_name()
driver.find_elements_by_class_name()
driver.find_elements_by_css_selector()

四、处理iframe标签

1.切换到ifame标签

我们知道，iframe标签是可以嵌入在html页面中的另一个页面，所以我们直接使用driver是无法拿到iframe中的元素的。需要进行一下操作：

import time
from selenium import webdriver

driver = webdriver.Chrome()
driver.get("https://mail.qq.com/cgi-bin/loginpage")

# 对应登录框的标签为iframe id=login_frame
driver.switch_to.frame("login_frame")
# 找到iframe中的username的输入框
username = driver.find_element_by_xpath("//input[@id=\'u\']")
# 输入数据
username.send_keys("4774177")

time.sleep(3)
driver.quit()

可以看到，我们以QQ邮箱登陆页面为例，将driver切换到iframe，然后找到输入框输入数据。

2.切换回主页面

driver.switch_to.default_content()

五、设置标签获取等待时间

在selenium中，只有请求第一个页面的时候，会自动等待页面加载完毕后再获取标签对象。

但如果我们在流程中翻页（例如下一页），selenium则不会等待页面加载完毕，而直接去获取标签对象。有可能获取失败（标签还未加载出来）。

这时我们需要设置一个等待时间，有三种方式：

1.强制等待

import time
time.sleep(3)  # 强制等待3秒

2.显式等待（了解）

设置一个最长等待时间，如果在时间内未找到元素，则抛出异常：

WebDriverWait(driver,10).until(EC.presence_of_element_located((By.ID,"kw"),message="")

3.隐式等待

简单的设置一个最大等待时间，单位是秒

driver.implicitly_wait(10) #隐式等待10秒

 

关于以上三种等待方式的优缺点，参考：https://blog.csdn.net/sinat_41774836/article/details/88965281#WebDriverWait_17

 

 

 

 

 

 

 

 

===