python爬虫14--Selenium动态渲染页面抓取

Posted rong1111

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python爬虫14--Selenium动态渲染页面抓取相关的知识,希望对你有一定的参考价值。

1.声明浏览器对象

from selenium import webdriver

browser = webdriver.Chrome()
# browser = webdriver.Firefox()
# browser = webdriver.Edge()

 

2.访问页面

from selenium import webdriver

browser = webdriver.Chrome()
url = http://www.baidu.com
browser.get(url)
print(browser.page_source)
browser.close()  #使用完要关闭浏览器

 

3.节点查找

3.1 单个节点

从淘宝首页提取搜索框

from selenium import webdriver
from selenium.webdriver.common.by import By

browser = webdriver.Chrome()
url = http://www.taobao.com
browser.get(url)
input_first = browser.find_element_by_id(q)                  #根据id获取
input_second = browser.find_elements_by_css_selector(#q)     #根据css选择器获取
input_third = browser.find_element_by_xpath(//*[@id="q"])  #根据xpath获取
input_forth = browser.find_element(By.ID,q)                  #find_element()
print(input_first,input_second,input_third,input_forth)
browser.close()

运行结果为WebElement类型,<selenium.webdriver.remote.webelement.WebElement (session="47f594f34cc9868f68ab3653e1d542a6">

find_element()方法只查询到第一个节点

3.2 多个节点

查询左侧导航栏

from selenium import webdriver
from selenium.webdriver.common.by import By

url = http://www.taobao.com
browser = webdriver.Chrome()
browser.get(url)
lis1 = browser.find_elements_by_css_selector(.service-bd li)  #class属性为service-bd的ul下的所有li标签,返回结果为列表
lis2 = browser.find_elements(By.CSS_SELECTOR,.service-bd li)
print(len(lis1),lis1)
print(len(lis2),lis2)
browser.close()

3.3 节点交互

Selenium可以驱动浏览器来执行一些操作,常用方法有:

  • send_keys():输入文字
  • clear():清空文字
  • click():点击按钮

在输入框中输入要查找的内容进行搜索

from selenium import webdriver
import time

url = http://www.taobao.com
browser = webdriver.Chrome()
browser.get(url)
input = browser.find_element_by_id(q)
input.send_keys(电脑)
time.sleep(3)
input.clear()
input.send_keys(笔记本电脑)
button = browser.find_elements_by_css_selector(.btn-search tb-bg)
button.click()
browser.close()

3.4 执行JavaScript

对于某些操作selenium API没有提供,如下拉进度条,可以直接模拟运行javascript,使用execute_script()方法。

 

from selenium import webdriver
import time

url = http://www.taobao.com
browser = webdriver.Chrome()
browser.get(url)
browser.execute_script(window.scrollTo(0,document.body.scrollHeight))
time.sleep(5)
browser.execute_script(alert("To Buttom"))

 

 

4.获取节点信息

page_source属性可以获取网页源代码,然后可以使用解析库获取信息。

selenium选择节点,返回的WebElement类型,也有对应的属性和方法来获取节点信息。

4.1 获取属性

get_attribute()方法获取属性。

input = browser.find_element_by_id(q)
print(input.get_attribute(name))

4.2 获取文本值

text属性可获取文本值。

 

 

lis = browser.find_elements_by_css_selector(.service-bd li)
for li in lis:
    print(li.text)

 

4.3 获取id、位置、标签名和大小

id属性获取节点id;location属性获取该节点在页面中的相对位置;tag_name属性获取标签名;size属性获取节点宽高。

 

5.切换Frame

 

iframe即子Frame,相当于页面的子页面,结构和外部网页的结构完全一致,selenium打开页面后,默认在父级的Frame里,不能获取到在子Frame里的节点,需要使用switch_to.frame()方法来切换Frame。

 

from selenium import webdriver
from selenium.common.exceptions import  NoSuchElementException
browser = webdriver.Chrome()
url = https://www.runoob.com/try/try.php?filename=jqueryui-api-droppable
browser.get(url)
browser.switch_to.frame(iframeResult)        #切换到子Frame
try:
    logo1 = browser.find_element_by_class_name(logo)
except NoSuchElementException:
    print(no logo)
browser.switch_to.parent_frame()     #切换到父级Frame
logo = browser.find_element_by_class_name(logo)
print(logo)
print(logo.text)
browser.close()

 

 

6.延时等待

 

selenium中get()方法会在网页框架加载结束后结束执行,此时如果获取page_source,可能不是浏览器完全加载的页面,所以需要延时等待一段时间,确保节点全部加载。

6.1 隐式等待

使用隐式等待,如果selenium在DOM中没有找到节点,会继续等待,超出设定时间后,会抛出找不到节点的异常,规定了一个固定时间,默认时间为0。用implicitly_wait()实现隐式等待。

 

from selenium import webdriver
browser = webdriver.Chrome()
browser.implicitly_wait(10)
browser.get(http://www.baidu.com)
input = browser.find_element_by_id(kw)
print(input)
browser.close()

 

6.2显示等待

显示等待指定一个最长等待时间,如果在规定时间内没有加载出来,会抛出超时异常。

 

 

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

browser = webdriver.Chrome()
url = http://www.taobao.com
browser.get(url)
wait = WebDriverWait(browser,10)      #引入WebDriverWait对象,指定最长等待时间
input = wait.until(EC.presence_of_element_located((By.ID,q)))     #调用until()方法,传入等待条件expected_conditions
button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,.btn-search)))
print(input,button)
browser.close()

 

 

7.前进和后退

back()后退;forward()前进。

from selenium import webdriver
import time

browser = webdriver.Chrome()
browser.get(http://www.baidu.com)
browser.get(http://taobao.com)
browser.get(https://www.cnblogs.com/)
browser.back()
time.sleep(3)
browser.forward()
time.sleep(3)
browser.back()
time.sleep(3)
browser.close()

 

8.选项卡操作

from selenium import webdriver
import time

browser = webdriver.Chrome()
browser.get(http://www.baidu.com)
browser.execute_script(window.open())             #新开启一个选项卡,即第二个
print(browser.window_handles)                          #获取当前开启的所有选项卡,以列表的形式返回,此处两个
browser.switch_to.window(browser.window_handles[1])    #切换到第二个选项卡
browser.get(http://taobao.com)                    #在第二个选项卡打开淘宝页面
time.sleep(3)
browser.switch_to.window(browser.window_handles[0])     #切换到第一个选项卡
browser.get(https://www.cnblogs.com/)             #在第一个选项卡打开博客页面

 

更多资料见参考文档:https://selenium-python.readthedocs.io/api.html

 

9.案例--使用selenium抓取淘宝商品

目标:

利用selenium抓取淘宝商品并用pyquery解析得到商品的图片、名称、价格、购买人数、店铺名称和店铺所在地信息,并保存到MongoDB中。

以上是关于python爬虫14--Selenium动态渲染页面抓取的主要内容,如果未能解决你的问题,请参考以下文章

python爬虫动态html selenium.webdriver

用爬虫抓取网页得到的源代码和浏览器中看到的不一样运用了啥技术?

python怎么抓取渲染后的页面

PHP 爬虫体验 - 使用PHP + puppeteer爬取js动态渲染的页面内容

东方财富爬虫url次数最大

python3 django动态分页引发的list切片下标越界问题