selenium动态网页与请求
Posted traditional
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了selenium动态网页与请求相关的知识，希望对你有一定的参考价值。
from selenium import webdriver
# 必须下载driver
browser = webdriver.Chrome(executable_path="D:chromedriver_win32chromedriver.exe")
# 请求页面
browser.get("https://www.bilibili.com/")
# 请求的内容都会存在browser.page_source里面
# 打印前100个字符
print(browser.page_source[:100])
‘‘‘
<!DOCTYPE html><html xmlns="http://www.w3.org/1999/xhtml" lang="zh-Hans"><head><meta charset="utf-8"
‘‘‘
from selenium import webdriver
from scrapy.selector import Selector
browser = webdriver.Chrome(executable_path="D:chromedriver_win32chromedriver.exe")
browser.get("https://www.bilibili.com/")
# Selector是一个类，要将html文本传进去，实例化之后才能调用xpath方法
titles = Selector(text=browser.page_source).xpath(‘//a[@target="_blank"]/@title‘).extract()
for title in titles:
print(title)
‘‘‘
画友
来探索bilibili音乐的世界吧~
游戏中心
直播
会员购
BWORLD
萌战
世界杯
下载APP
干杯，世界杯！2
【洛天依原创曲】小城书院【天依6周年生日快乐~】
【老E】时隔两年半的更新 GBA PART.08
【窃格瓦拉＆面筋哥】BBoom BBoom
【洛天依中心手书】天依的幸福理论【2018洛天依生诞祭】
[中文字幕] 8.32 / *Luna feat.flower
【泛式】姐姐非要看我发育正不正常！7月新番大吐槽第一弹!「新番妙妙屋07」
国人真有才，动漫角色谐音梗都有哪些？【补番教室06】
蹦蹦蹦，要和德丽莎一起睡午觉吗~hide and seek~
在线观看：4467291
‘‘‘
# 模拟登陆bilibili
from selenium import webdriver
browser = webdriver.Chrome(executable_path="D:chromedriver_win32chromedriver.exe")
browser.get("https://passport.bilibili.com/login")
# 语法和scrapy的xpath一样
# 找到用户名输入框，通过send_keys()发送用户名
browser.find_element_by_xpath(‘//input[@id="login-username"]‘).send_keys("18538712459")
# 找到密码输入框，这里密码隐藏了
browser.find_element_by_xpath(‘//input[@id="login-passwd"]‘).send_keys("zg2ffsaaaaahxxxx123")
# 找到登陆按钮，这里是一个a标签
browser.find_element_by_xpath(‘//a[@class="btn btn-login"]‘).click()
会看到，自动帮我把账号和密码输入了
selenium本来就是模拟人的登陆
以上是关于selenium动态网页与请求的主要内容，如果未能解决你的问题，请参考以下文章