python--输入检索词自动爬取百度搜索页标题信息

Posted 2021-02-09 Summer儿

背景：
在百度每次输入关键词检索后，会出现很多的检索页，不利于有效阅读，
为更方便收集检索信息，编写了一个可以收集每个检索页与检索词相关的十条检索信息（百度在每个检索页放置十条检索标题信息）。
可以根据需要选择爬取多少检索页，通过修改main()函数的depth变量

 1 import urllib.request
 2 import re
 3 
 4 def get_html_text(url,data_lst,depth):
 5  
 7     for i in range(depth):
 8         
 9         # 根据分析构造网址
10         url_kw = url + ‘&pn=‘ + str(i*10) #切记：这里不能使用‘i*10‘来表示，如果那样的话将无法将i通过for循环传递参数。
11         
12         # 获取每页的网页数据
13         data = urllib.request.urlopen(url_kw).read().decode(‘utf-8‘, ‘ignore‘)
14         
15         # 测试代码：print(len(data))
16         print(‘正在爬取第‘,str(i+1),‘页网页信息‘)
17         
18         # 构造正则表达式，提取目标信息
19         html_title_pat = ‘"title":"(.*?)"‘
20         title_info = re.compile(html_title_pat, re.S).findall(data)
21         # 测试代码：print(len(title_info))
22         for i in range(0,len(title_info)):
23             print(‘第‘+str(i+1) + ‘条网页标题:‘ + str(title_info[i]))
24             print(‘-‘*20)
25             data_lst.append(title_info[i])
26 
27         
28 def main():
29     keyword = input(‘请输入要检索的关键词：‘)
30     
31     # #对关键词进行编码，因为URL中需要对中文等进行处理.
32     # 我们平时输入网址的时候有汉字是因为搜索框会自动解析汉字，但是python不会，所以我们需要对关键词进行编码。
33     key_code = urllib.request.quote(keyword) # 对关键词编码
34     
35     url = ‘http://www.baidu.com/s?&ie=utf-8&wd=‘+ key_code
36     depth = 5 # 爬取网页的深度，可以自行设置
37     data_lst = list()
38     get_html_text(url,data_lst,depth)
39 　　
　　　　# 保存到本地路径
40     with open(‘baidu_keyword.txt‘, ‘a‘, encoding=‘utf-8‘) as f:
41         data_raw = [str(i) for i in data_lst] #使用列表推导式保证列表内的每个元素都是字符串，因为文件写入时要求每个元素都是字符串格式。
42         #data_content = ‘ ‘.join(data_raw)
43         for i in data_raw:
44             f.write(i+‘
‘) #‘
’写入一条信息就进行换行，使爬取的数据规整
45 
46 
47 if __name__ == ‘__main__‘:
48     main()

请输入要检索的关键词：清华大学
检索的文本信息截取
- 职业圈清华大学
清华大学信息门户系统
清华大学本科招生网
清华大学研究生招生网
清华大学百年校庆_百度百科
清华大学 - Tsinghua University
清华大学学生职业发展指导中心
清华校友网 
清华大学学生职业发展指导中心
清华大学地球系统科学系-首页
清华大学新闻网 - 清华人物
Tsinghua University
清华大学法学院
清华大学教育研究院
清华大学环境学院
清华大学
清华大学_清华大学录取分数线,专业介绍,图片_新浪院校库_新浪教育
清华大学bbs 水木社区-源于清华的高知社群
北京清华大学攻略,清华大学门票_地址,清华大学游览攻略 - 马蜂窝
清华大学吧-百度贴吧 
供应室平台_助力科研,让世界更美好 
【清华大学】清华大学招聘|待遇|面试|怎么样-看准网
清华大学开源软件镜像站 | Tsinghua Open Source Mirror
清华大学精密仪器系 - 首页 
清华大学科技园
浙江清华长三角研究院
清华大学精密仪器系 - 首页 
清华x-lab - 清华大学创意创新创业教育平台
清华大学经济管理学院
清华大学建筑学院景观学系
清华大学简介_清华大学介绍 
深圳清华大学研究院
2019北京清华大学校园概况-清华大学自助游-清华大学门票交通天气...
清华大学量子信息中心
清华大学历史研究所
清华大学
2018清华大学录取分数线_清华大学各省高考分数线_高考院校库
北京清华大学攻略,北京清华大学门票/游玩攻略/地址/图片/门..._携程
★清华大学校园招聘-2018年清华大学校园招聘会
清华大学专升本 - 育鹏专升本教育信息网
清华大学门票,清华大学门票价格,清华大学门票团购【携程门票】
清华大学卡内基全球政策中心
清华大学历史研究所
清华大学在职研究生_中国在职研究生招生信息网
清华大学量子信息中心