python3.4 + requests + re 仿写糗事百科爬虫，遇到一个疑惑，求助

Posted 2023-05-08

　　网上的Python教程大都是2.X版本的，python2.X和python3.X相比较改动比较大，好多库的用法不太一样，我安装的是3.4.1，就用3.4.1实现一下网页内容抓取
　　首先是库，2.7版本的urllib2库已经没有了，我导入的是：
　　import urllib.request
　　import re
　　首先是取得url，直接打开糗事百科直接复制网址
　　url=\'http//www..com/hot/\'
　　然后设置headers，伪装成浏览器进行访问，有的网站会有屏蔽措施，设置过headers可以绕过屏蔽
　　user_agent=\'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)\'
　　headers=\'User-Agent\':user_agent
　　然后进行请求，这里3.4和2.7有点不一样，注意用法
　　request=urllib.request.Request(url=url,headers=headers)
　　然后获取响应结果，注意用法
　　response=urllib.request.urlopen(request)
　　此时就抓去了整个网页源代码，可以打印一下看看
　　content=response.read().decode(\'utf-8\')
　　print(content)
　　如何抓取想要的内容呢？这里需要正则表达式去匹配
　　先看看部分源码的内容，如下：
　　<div class="article block untagged mb15" id=\'qiushi_tag_115326209\'><div class="author clearfix"><a href="/users/6689931" target="_blank" rel="nofollow"><img src="http://pic.qiushibaike.com/system/avtnew/668/6689931/medium/20140301102643.jpg" /></a><a href="/users/6689931" target="_blank" title="狼牙蝎子尾"><h2>狼牙蝎子尾</h2></a></div><div class="content">“懒惰是可以战胜饥饿的 ”<br/><br/>“但却输给了尿”<!--1456774385--></div><div class="thumb"><a href="/article/115326209" target="_blank"><img src="http://pic.qiushibaike.com/system/pictures/11532/115326209/medium/app115326209.jpg" /></a></div><div class="stats"><span class="stats-vote"><i class="number">1702</i> 好笑</span><span class="stats-comments"><span class="dash"> · </span><a href="/article/115326209" data-share="/article/115326209" id="c-115326209" class="qiushi_comments" target="_blank"><i class="number">26</i> 评论
　　这是一条内容，可以看出，从<div ....author...开始到</i>结束
　　然后就写正则匹配
　　pattern=re.compile(\'<div.*?author clearfix">.*?<h2>(.*?)</h2>.*?<div.*?content">(.*?)<!--.*?-->.*?<img src="(.*?)" alt=.*?>.*?</i>\')
　　再然后就可以获取内容了
　　items=re.findall(pattern,str(content))
　　由于控制台不能输出图片，就把带图片的过滤掉吧
　　for item in items:
　　haveImg=re.search(\'img\',item[2])
　　if not haveImg:
　　print(item[0]),print(item[1])
　　然后运行即可
　　附上源码图片以及运行结果：
　　代码估计大家都能看懂，正则表达式可能新手不太理解
　　我稍微说一下
　　.*?代表一个固定搭配，指尽可能短的匹配
　　(.*?)代表一个分组，是我们抓取的内容
　　re.S说明可以匹配到换行，如果没有re.S就啥也取不到
　　这个代码是初稿，比较粗糙，有兴趣的可以把它改造成面向对象的模式 参考技术A 贴问题，问题，题。。。。。。 参考技术B 你可以用一下BeautifulSoup这个，它是处理这种抓取下来的网页，直接利用标签和一些id、class来查找元素的，比较方便

python爬虫思路

python2
爬虫：从网页上采取数据
爬虫模块：urllib,urllib2,re,bs4,requests,scrapy,xlml
1.urllib
2.request
3.bs4
4.正则re
5种数据类型
(1)数字Number
(2)字符串String
(3)列表List[] 中文在可迭代对象就是unicode对象
(4)元组Tuple()
(5)字典Set{}
爬虫思路：
1.静态 urlopen打开网页------获取源码read
2.requests(模块) get/post请求----获取源码 text()方法 content()方法(建议)
3.bs4 能够解析HTML和XML
#-- coding:utf-8 --
from bs4 import BeautifulSoup
#1
#html="<div>2018.1.8 14:03</div>"
#soup=BeautifulSoup(html,‘html.parser‘) #解析网页
#print soup.div
#2从文件中读取
html=‘‘
soup=BeautifulSoup(open(‘index.html‘),‘html.parser‘)
print soup.prettify()
4.获取所需信息