python selenium 踩坑

Posted 2020-12-29 liyunkai

想做做信息检索课设，先写个爬虫爬爬微博。

看了一下午微博的api，晚上决定用chromnium。

 

先通过pip安装selenium，官方文档看一眼，

 pip install selenium 

然后需要安装浏览器的driver，浏览器的调试模式一样

通过Choco安装，powershell一句话

 choco install selenium-all-drivers 

完毕。然后开始写代码

 1 from selenium import webdriver
 2 from time import sleep
 3 
 4 
 5 browser = webdriver.Chrome()
 6 try:
 7     print("open the browser...")
 8     browser.get(r‘http://weibo.com‘)
 9     print(browser.title)
10 except Exception:
11     print(‘browser open failed...‘)
12 
13 sleep(5)
14 
15 
16 print("select href_links...")
17 href_li = browser.find_elements_by_css_selector(‘a‘)
18 print("total links:",len(href_li))
19 print(‘not tag named <a>‘)
20 print(" for all the links")
21 for href_element in href_li:
22     print(href_element.text)

微博首页有js的动态加载，本来打算游客登陆的，结果发现直接访问会卡在一个游客的认证空白页几秒钟，然后针对网页的分析什么都是空的， sleep(5) 之后才能找到想要的东西。

干啥都得等一等，我决定下次用微博的api。。。