selenium模块

Posted xuuuuuu

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了selenium模块相关的知识,希望对你有一定的参考价值。

  • 一 介绍
  • 二 安装
  • 三 基本使用
  • 四 选择器
  • 五 等待元素被夹在
  • 元素交互操作
  • 其他
  • 项目联

 一 介绍

selenium最初是一个自动化测试的工具,而爬虫中使用它主要是为了解决requests无法直接执行javascript代码的问题

selenium本质是通过驱动浏览器,完全模拟浏览器的操作,比如跳转、输入、点击、下拉等,来拿到网页渲染之后的结果,支持多种浏览器

from selenium import webdriver
browser=webdriver.Chrome()
browser=webdriver.Firefox()
browser=webdriver.PhantomJS()
browser=webdriver.Safari()
browser=webdriver.Edge() 

二 安装

1、有界面浏览器

#安装:selenium+chromedriver
pip3 install selenium
chromedriver下载地址:http://chromedriver.storage.googleapis.com/index.html
浏览器版本和驱动版本的对应关系表: https://blog.csdn.net/huilan_same/article/details/51896672

2、无界面浏览器

PhantomJS不再更新

技术图片
#安装:selenium+phantomjs
pip3 install selenium
下载phantomjs,解压后把phantomjs.exe所在的bin目录放到环境变量
下载链接:http://phantomjs.org/download.html

#验证安装
C:\Users\Administrator>phantomjs
phantomjs> console.log(egon gaga)
egon gaga
undefined
phantomjs> ^C
C:\Users\Administrator>python3
Python 3.6.1 (v3.6.1:69c0db5, Mar 21 2017, 18:41:36) [MSC v.1900 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> from selenium import webdriver
>>> driver=webdriver.PhantomJS() #无界面浏览器
>>> driver.get(https://www.baidu.com)
>>> driver.page_source
View Code

在 PhantomJS 年久失修, 后继无人的节骨眼 
Chrome 出来救场, 再次成为了反爬虫 Team 的噩梦

自Google 发布 chrome 59 / 60 正式版 开始便支持Headless mode 

这意味着在无 GUI 环境下, PhantomJS 不再是唯一选择 

技术图片
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_argument(window-size=1920x3000) #指定浏览器分辨率
chrome_options.add_argument(--disable-gpu) #谷歌文档提到需要加上这个属性来规避bug
chrome_options.add_argument(--hide-scrollbars) #隐藏滚动条, 应对一些特殊页面
chrome_options.add_argument(blink-settings=imagesEnabled=false) #不加载图片, 提升速度
chrome_options.add_argument(--headless) #浏览器不提供可视化页面. linux下如果系统不支持可视化不加这条会启动失败
chrome_options.binary_location = r"C:\Program Files (x86)\Google\Chrome\Application\chrome.exe" #手动指定使用的浏览器位置


driver=webdriver.Chrome(chrome_options=chrome_options)
driver.get(https://www.baidu.com)

print(hao123 in driver.page_source)


driver.close() #切记关闭浏览器,回收资源
selenium+谷歌浏览器headless模式

三、基本使用

from selenium import webdriver
from selenium.webdriver import ActionChains
from selenium.webdriver.common.by import By #按照什么方式查找,By.ID,By.CSS_SELECTOR
from selenium.webdriver.common.keys import Keys #键盘按键操作
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait #等待页面加载某些元素

browser=webdriver.Chrome()
try:
    browser.get(https://www.baidu.com)

    input_tag=browser.find_element_by_id(kw)
    input_tag.send_keys(美女) #python2中输入中文错误,字符串前加个u
    input_tag.send_keys(Keys.ENTER) #输入回车

    wait=WebDriverWait(browser,10)
    wait.until(EC.presence_of_element_located((By.ID,content_left))) #等到id为content_left的元素加载完毕,最多等10秒

    print(browser.page_source)
    print(browser.current_url)
    print(browser.get_cookies())

finally:
    browser.close()

四、选择器

一、基本用法

技术图片
#官网链接:http://selenium-python.readthedocs.io/locating-elements.html
from selenium import webdriver
from selenium.webdriver import ActionChains
from selenium.webdriver.common.by import By #按照什么方式查找,By.ID,By.CSS_SELECTOR
from selenium.webdriver.common.keys import Keys #键盘按键操作
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait #等待页面加载某些元素
import time

driver=webdriver.Chrome()
driver.get(https://www.baidu.com)
wait=WebDriverWait(driver,10)

try:
    #===============所有方法===================
    # 1、find_element_by_id
    # 2、find_element_by_link_text
    # 3、find_element_by_partial_link_text
    # 4、find_element_by_tag_name
    # 5、find_element_by_class_name
    # 6、find_element_by_name
    # 7、find_element_by_css_selector
    # 8、find_element_by_xpath
    # 强调:
    # 1、上述均可以改写成find_element(By.ID,kw)的形式
    # 2、find_elements_by_xxx的形式是查找到多个元素,结果为列表

    #===============示范用法===================
    # 1、find_element_by_id
    print(driver.find_element_by_id(kw))

    # 2、find_element_by_link_text
    # login=driver.find_element_by_link_text(登录)
    # login.click()

    # 3、find_element_by_partial_link_text
    login=driver.find_elements_by_partial_link_text()[0]
    login.click()

    # 4、find_element_by_tag_name
    print(driver.find_element_by_tag_name(a))

    # 5、find_element_by_class_name
    button=wait.until(EC.element_to_be_clickable((By.CLASS_NAME,tang-pass-footerBarULogin)))
    button.click()

    # 6、find_element_by_name
    input_user=wait.until(EC.presence_of_element_located((By.NAME,userName)))
    input_pwd=wait.until(EC.presence_of_element_located((By.NAME,password)))
    commit=wait.until(EC.element_to_be_clickable((By.ID,TANGRAM__PSP_10__submit)))

    input_user.send_keys(18611453110)
    input_pwd.send_keys(xxxxxx)
    commit.click()

    # 7、find_element_by_css_selector
    driver.find_element_by_css_selector(#kw)

    # 8、find_element_by_xpath

    time.sleep(5)

finally:
    driver.close()
View Code

二、xpath

技术图片
#官网链接:http://selenium-python.readthedocs.io/locating-elements.html
from selenium import webdriver
from selenium.webdriver import ActionChains
from selenium.webdriver.common.by import By #按照什么方式查找,By.ID,By.CSS_SELECTOR
from selenium.webdriver.common.keys import Keys #键盘按键操作
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait #等待页面加载某些元素
import time

driver=webdriver.PhantomJS()
driver.get(https://doc.scrapy.org/en/latest/_static/selectors-sample1.html)
# wait=WebDriverWait(driver,3)
driver.implicitly_wait(3) #使用隐式等待

try:
    # find_element_by_xpath
    #//与/
    # driver.find_element_by_xpath(//body/a)  # 开头的//代表从整篇文档中寻找,body之后的/代表body的儿子,这一行找不到就会报错了

    driver.find_element_by_xpath(//body//a)  # 开头的//代表从整篇文档中寻找,body之后的//代表body的子子孙孙
    driver.find_element_by_css_selector(body a)

    #取第n个
    res1=driver.find_elements_by_xpath(//body//a[1]) #取第一个a标签
    print(res1[0].text)

    #按照属性查找,下述三者查找效果一样
    res1=driver.find_element_by_xpath(//a[5])
    res2=driver.find_element_by_xpath(//a[@href="image5.html"])
    res3=driver.find_element_by_xpath(//a[contains(@href,"image5")]) #模糊查找
    print(==>, res1.text)
    print(==>,res2.text)
    print(==>,res3.text)


    #其他
    res1=driver.find_element_by_xpath(/html/body/div/a)
    print(res1.text)

    res2=driver.find_element_by_xpath(//a[img/@src="image3_thumb.jpg"]) #找到子标签img的src属性为image3_thumb.jpg的a标签
    print(res2.tag_name,res2.text)

    res3 = driver.find_element_by_xpath("//input[@name=‘continue‘][@type=‘button‘]") #查看属性name为continue且属性type为button的input标签
    res4 = driver.find_element_by_xpath("//*[@name=‘continue‘][@type=‘button‘]") #查看属性name为continue且属性type为button的所有标签
    
    
    time.sleep(5)

finally:
    driver.close()
View Code

三、获取标签属性

技术图片
from selenium import webdriver
from selenium.webdriver import ActionChains
from selenium.webdriver.common.by import By #按照什么方式查找,By.ID,By.CSS_SELECTOR
from selenium.webdriver.common.keys import Keys #键盘按键操作
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait #等待页面加载某些元素

browser=webdriver.Chrome()

browser.get(https://www.amazon.cn/)

wait=WebDriverWait(browser,10)
wait.until(EC.presence_of_element_located((By.ID,cc-lm-tcgShowImgContainer)))

tag=browser.find_element(By.CSS_SELECTOR,#cc-lm-tcgShowImgContainer img)

#获取标签属性,
print(tag.get_attribute(src))


#获取标签ID,位置,名称,大小(了解)
print(tag.id)
print(tag.location)
print(tag.tag_name)
print(tag.size)


browser.close()
View Code

 

以上是关于selenium模块的主要内容,如果未能解决你的问题,请参考以下文章

如何使用模块化代码片段中的LeakCanary检测内存泄漏?

爬虫selenium模块

Selenium JavascriptExecutor 详解

Selenium JavascriptExecutor 详解

如何有条件地将 C 代码片段编译到我的 Perl 模块?

有没有办法关闭代码片段中的命名建议?