selenium

Posted 2020-11-18 wang-sir

selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行javascript代码的问题

selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器

支持的浏览器：
from selenium import webdriver
browser=webdriver.Chrome()
browser=webdriver.Firefox()
browser=webdriver.PhantomJS()
browser=webdriver.Safari()
browser=webdriver.Edge()

 

输入、点击、跳转、下拉

from selenium import webdriver
import time

browser = webdriver.Chrome()　　#Chrome浏览器

browser.get("http://www.taobao.com")　　# 在浏览器中访问淘宝
input_str = browser.find_element_by_id(‘q‘)　　# 在淘宝网页中找到id为q的项（搜索框）
input_str.send_keys("ipad")　　　　　　# 在搜索框中输入ipad
time.sleep(1) 
input_str.clear()　　　　　　　　　　　　# 删除搜索框中的内容
input_str.send_keys("MakBook pro")　　# 重新输入MakBook pro
button = browser.find_element_by_class_name(‘btn-search‘)　　# 找到网页中搜索按钮的代码class名字为btn-search
button.click()　　#点击

常用的判断条件：
title_is 标题是某内容
title_contains 标题包含某内容
presence_of_element_located 元素加载出，传入定位元组，如(By.ID, ‘p‘)
visibility_of_element_located 元素可见，传入定位元组
visibility_of 可见，传入元素对象
presence_of_all_elements_located 所有元素加载出
text_to_be_present_in_element 某个元素文本包含某文字
text_to_be_present_in_element_value 某个元素值包含某文字
frame_to_be_available_and_switch_to_it frame加载并切换
invisibility_of_element_located 元素不可见
element_to_be_clickable 元素可点击
staleness_of 判断一个元素是否仍在DOM，可判断页面是否已经刷新
element_to_be_selected 元素可选择，传元素对象
element_located_to_be_selected 元素可选择，传入定位元组
element_selection_state_to_be 传入元素对象以及状态，相等返回True，否则返回False
element_located_selection_state_to_be 传入定位元组以及状态，相等返回True，否则返回False
alert_is_present 是否出现Alert

 

浏览器的前进和后退

browser.back()#后退
time.sleep(1)
browser.forward()#前进
browser.close()#关闭

cookie操作

print(browser.get_cookies())　　#
browser.add_cookie({‘name‘: ‘name‘, ‘domain‘: ‘www.zhihu.com‘, ‘value‘: ‘zhaofan‘})　　#增加cookie
print(browser.get_cookies())
browser.delete_all_cookies()#删除所有cookies
print(browser.get_cookies())

 

选项卡管理(相当于新开一个窗口）

通过执行js命令实现新开选项卡window.open()
不同的选项卡是存在列表里browser.window_handles
通过browser.window_handles[0]就可以操作第一个选项卡

import time
from selenium import webdriver

browser = webdriver.Chrome()
browser.get(‘https://www.baidu.com‘)
browser.execute_script(‘window.open()‘)　　#
print(browser.window_handles)
browser.switch_to_window(browser.window_handles[1])
browser.get(‘https://www.taobao.com‘)
time.sleep(1)
browser.switch_to_window(browser.window_handles[0])
browser.get(‘https://python.org‘)

 

 

 

隐式等待
到了一定的时间发现元素还没有加载，则继续等待我们指定的时间，如果超过了我们指定的时间还没有加载就会抛出异常，如果没有需要等待的时候就已经加载完毕就会立即执行

显示等待

指定一个等待条件，并且指定一个最长等待时间，会在这个时间内进行判断是否满足等待条件，如果成立就会立即返回，如果不成立，就会一直等待，直到等待你指定的最长等待时间，如果还是不满足，就会抛出异常，如果满足了就会正常返回

EC.presence_of_element_located（）是确认元素是否已经出现了
EC.element_to_be_clickable（）是确认元素是否是可点击的

 

#登陆问题：

from selenium import webdriver
from selenium.webdriver import ActionChains
from selenium.webdriver.common.by import By #按照什么方式查找，By.ID,By.CSS_SELECTOR
from selenium.webdriver.common.keys import Keys #键盘按键操作
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait #等待页面加载某些元素

browser=webdriver.Chrome()

url= "111111"
try:

　　browser.get(‘http://mail.163.com/‘)

    wait=WebDriverWait(browser,5)

    frame=wait.until(EC.presence_of_element_located((By.ID,‘x-URS-iframe‘)))
    browser.switch_to.frame(frame)

    wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,‘.m-container‘)))
　　#输入证号密码
    inp_user=browser.find_element_by_name(‘email‘)#找到证号框
    inp_pwd=browser.find_element_by_name(‘password‘)#找到密码框
    button=browser.find_element_by_id(‘dologin‘)#找到登陆键
    inp_user.send_keys(‘18611453110‘)#证号
    inp_pwd.send_keys(‘xxxx‘)#密码
    button.click()#点击登陆

    #如果遇到验证码，可以把下面一小段打开注释
    # import time
    # time.sleep(10)
    # button = browser.find_element_by_id(‘dologin‘)
    # button.click()

    wait.until(EC.presence_of_element_located((By.ID,‘dvNavTop‘)))
    write_msg=browser.find_elements_by_css_selector(‘#dvNavTop li‘)[1] #获取第二个li标签就是“写信”了
    write_msg.click()


    wait.until(EC.presence_of_element_located((By.CLASS_NAME,‘tH0‘)))
    recv_man=browser.find_element_by_class_name(‘nui-editableAddr-ipt‘)
    title=browser.find_element_by_css_selector(‘.dG0 .nui-ipt-input‘)
    recv_man.send_keys(‘[email protected]‘)
    title.send_keys(‘圣旨‘)
    print(title.tag_name)


    frame=wait.until(EC.presence_of_element_located((By.CLASS_NAME,‘APP-editor-iframe‘)))
    browser.switch_to.frame(frame)
    body=browser.find_element(By.CSS_SELECTOR,‘body‘)
    body.send_keys(‘egon很帅，可以加工资了‘)

    browser.switch_to.parent_frame() #切回他爹
    send_button=browser.find_element_by_class_name(‘nui-toolbar-item‘)
    send_button.click()

    #可以睡时间久一点别让浏览器关掉，看看发送成功没有
    import time
    time.sleep(10000)

except Exception as e:
    print(e)
finally:
    browser.close()