python网络数据采集selenium库基本配置及使用方法

Posted 2022-06-14 BkbK-

selenium库基本配置及使用方法

Selenium（http://www.seleniumhq.org/）是一个强大的网络数据采集工具，其最初是为网站自动化测试而开发的。近几年，它还被广泛用于获取精确的网站快照，因为它们可以直接运行在浏览器上。
Selenium可以让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否发生。

文章目录

• selenium库基本配置及使用方法
• • 一、selenium库安装
  • 二、下载浏览器驱动
  • • 2.1 查看浏览器版本
    • 2.2下载对于驱动
  • 三、运行Demo

一、selenium库安装

可以从 PyPI 网站（https://pypi.python.org/simple/selenium/）下载 Selenium 库。
也可以用第三方管理器（像 pip）用命令行安装。

pip install selenium

二、下载浏览器驱动

Selenium 自己不带浏览器，需要与第三方浏览器结合在一起使用

• Chrome
  chrome驱动下载地址为r： http://chromedriver.storage.googleapis.com/index.html

• Firefox
  Firefox驱动下载地址为：https://github.com/mozilla/geckodriver/releases/

• IE
  IE浏览器驱动下载地址为：http://selenium-release.storage.googleapis.com/index.html

这里以windows系统谷歌浏览器为例，下载对应版本的驱动

2.1 查看浏览器版本

（1）进入浏览器设置：

（2）进入关于Chrome ：
chrome://settings/help

（3）查看版本号：
这里是版本 102.0.5005.115（正式版本） （64 位）

2.2下载对于驱动

（1）找到对应版本驱动：
前三级版本号相同即可。

（2）下载对应系统驱动：
windows只有32位版本，不影响使用

（3）解压驱动到文件目录：
驱动文件可以放到python文件运行目录或者在运行是指定路径

三、运行Demo

驱动在当前目录下时：

from selenium import webdriver
driver = webdriver.Chrome()
url =  r'http://www.baidu.com'
driver.get(url)
driver.quit()

指定驱动路径：driverPATH

from selenium import webdriver
from selenium.webdriver.chrome.service import Service

driverPATH = r'E:\\pythonWS\\selenium\\chromedriver.exe'
url =  r'http://www.baidu.com'
s = Service(driverPATH)
driver = webdriver.Chrome(service=s)

driver.get(url)
driver.quit()