Rollo的Python之路Python 爬虫系统学习 Selenium

Posted 2022-02-18 rollost

Selenium 与 PhantomJS  

selenium:[s??li?ni?m]:# n. 硒(化学元素，用于制造电气设备和有色玻璃，人体缺此元素可致抑郁等病)
phantom:[?fænt?m] :# n. 鬼; 鬼魂; 幽灵; 幻觉; 幻象; adj. 像鬼的; 幽灵似的; 幻觉的; 幻象的; 虚幻的

 

• Selenium

 

Selenium 是一个web的自动化测试工具，最初是为了网站自动化测试而开发的，Selenium可以直接运行在浏览器上，它支持所有主流的（包括PhantomJS这些无界面的浏览器），可以接收指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏。

• PhantomJS

PhantomJS 是一个基于webkit的“无界面”（headless）浏览器，它会把网站加载到内存并执行页面上的JaveScript

 

1.0.1 Selenium 加载网页：

from selenium import webdriver
driver = webdriver.PhantomJS()
driver.get()
driver.save_screenshot("baidu.png")

 

1.0.2 Selenium 定位和操作：

driver.find_element_by_id("kw")
driver.find_element_by_id("kw").send_keys("python")
dirver.find_element_by_id("su").click()

 

1.0.3 Selenium 查看请求信息：

driver.page_source
driver.get_cookies()
driver.current_url

#列表生成式

i["name"]:i["value"] for i in cookies 

 

1.0.4 Selenium 退出：

driver.close() #退出当前页面
driver.quit() #退出浏览器

 

中文文档：https://selenium-python-zh.readthedocs.io/en/latest/getting-started.html