python爬虫之Selenium

Posted 離人譖挽

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python爬虫之Selenium相关的知识,希望对你有一定的参考价值。

首先解决python中使用selenium调用Firefox缺少geckodriver的问题

geckodriver.exe下载地址 : https://pan.baidu.com/s/10Vy9WH1ZpkvdFmZ3T7aw_w , https://github.com/mozilla/geckodriver/releases

解压完成,然后放到python的安装目录与python.exe在同一目录下

Selenium是一个第三方模块,可以完全模拟用户在浏览器上操作(在浏览器上点点点)。

安装
pip3 install selenium
 优缺点:
        优:无需再自己操作cookie和header
        缺:慢
 依赖驱动:
       Firefox
          https://github.com/mozilla/geckodriver/releases
       Chrome
          http://chromedriver.storage.googleapis.com/index.html

具体使用
#!/usr/bin/env python
# coding:utf-8
import  selenium.webdriver
import  time

driver = selenium.webdriver.Firefox()
url = "http://www.baidu.com"
driver.get(url)
driver.find_element_by_class_name("s_ipt").send_keys("你好")

driver.find_element_by_id("su").click()

 

 

 

以上是关于python爬虫之Selenium的主要内容,如果未能解决你的问题,请参考以下文章

python爬虫-27-python之Selenium入门,动态网页抓取

python爬虫之Selenium

python爬虫之初始Selenium

3爬虫之selenium模块

Python之Selenium自动化爬虫

爬虫学习 08.Python网络爬虫之图片懒加载技术selenium和PhantomJS