python selenium 自动化爬虫与测试网页利器

Posted shiter

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python selenium 自动化爬虫与测试网页利器相关的知识,希望对你有一定的参考价值。

文章大纲


简介

官网:https://selenium-python.readthedocs.io/installation.html
chrome_driver 下载:https://sites.google.com/chromium.org/driver/

selenium 的好处是可以模拟复杂场景的登录,比如携带windows 域信息的登录。或者是点击某些验证码,这时候可以python 截图 OCR 等等复杂的应用。 本文主要解决两个场景:

  • 模仿人工进行登录后跳转
  • 爬取AJAX 动态加载的数据(这些数据在网页源码中无法找到 – 令人摸不着头脑!)

一些问题的解决

以上是关于python selenium 自动化爬虫与测试网页利器的主要内容,如果未能解决你的问题,请参考以下文章

python selenium 自动化爬虫与测试网页利器

python selenium 自动化爬虫与测试网页利器

Python爬虫(二十一)_Selenium与PhantomJS

Python爬虫:Selenium与PhantomJs学习

干货分享Python的爬虫与Selenium库详细教程

小白学 Python 爬虫(28):自动化测试框架 Selenium 从入门到放弃(下)