爬取：中国大学排名

Posted 2020-10-03 0岁的数据分析师

功能：输入大学排名URL链接

输出：大学排名信息的屏幕输出（排名，大学名称，总分）

技术路线：requests-bs4

定向爬虫：进队输入的URL进行爬去，不扩展爬取。

确定是否是：动态脚本信息

找所需要的信息：ctrl+f，查找

确定有无robots协议：http://www.zuihaodaxue.cn/robots.txt，404，不存在。

 

程序结构设计：

1. 从网络上获取大学排名网页内容，定义一个函数gethtmlText()，其功能是.....
2. 提取网页内容中信息到合适的数据结构，定义第二个函数fillUnivList(),对应步骤2
3. 利用数据结构展示并输出结果，定义第三个函数printUnivList(),对应步骤3

 

思考：采用列表展示（二维列表）。

 1 import requests
 2 from bs4 import BeautifulSoup
 3 import bs4
 4  
 5 def getHTMLText(url):
 6     try:
 7         r = requests.get(url, timeout=30)
 8         r.raise_for_status()
 9         r.encoding = r.apparent_encoding
10         return r.text
11     except:
12         return ""
13  
14 def fillUnivList(ulist, html):
15     soup = BeautifulSoup(html, "html.parser")
16     for tr in soup.find(‘tbody‘).children:
17         if isinstance(tr, bs4.element.Tag):
18             tds = tr(‘td‘)
19             ulist.append([tds[0].string, tds[1].string, tds[3].string])
20  
21 def printUnivList(ulist, num):
22     tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}"
23     print(tplt.format("排名","学校名称","总分",chr(12288)))
24     for i in range(num):
25         u=ulist[i]
26         print(tplt.format(u[0],u[1],u[2],chr(12288)))
27      
28 def main():
29     uinfo = []
30     url = ‘http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html‘
31     html = getHTMLText(url)
32     fillUnivList(uinfo, html)
33     printUnivList(uinfo, 20) # 20 univs
34 main()

排名 　　　学校名称　　　 总分
1 　　　清华大学　　　 95.9
2 　　　北京大学　　　 82.6
3 　　　浙江大学　　　 80
4 　　上海交通大学　　 78.7
5 　　　复旦大学　　　 70.9
6 　　　南京大学　　　 66.1
7 　中国科学技术大学　 65.5
8 　哈尔滨工业大学　　 63.5
9 　　华中科技大学　　 62.9
10 　　　中山大学　　　 62.1
11 　　　东南大学　　　 61.4
12 　　　天津大学　　　 60.8
13 　　　同济大学　　　 59.8
14 　北京航空航天大学　 59.6
15 　　　四川大学　　　 59.4
16 　　　武汉大学　　　 59.1
17 　　西安交通大学　　 58.9
18 　　　南开大学　　　 58.3
19 　　大连理工大学　　 56.9
20 　　　山东大学　　　 56.3

 

这是第一次敲一个爬虫，虽然是跟着视频的学习。但是大概知道了所谓编程的逻辑。

首先应该确定所需要做的事情，然后根据事情的需求写函数，确定有多少个需求。然后编写函数（还有主函数）。

 

学习自北京理工大学，嵩天老师。