Python 爬去糗事百科内容讲解

Posted 2022-12-04 数据文字工作者

参考：http://blog.csdn.net/flyingfishmark/article/details/51251534

爬取前我们先看一下我们的目标：

1.抓取糗事百科热门段子

2.过滤带有图片的段子

3.段子的发布人，段子内容，好笑数，评论数

# -*- coding: utf-8 -*-
import urllib2
import re
page = 1
url = 'http://www.qiushibaike.com/8hr/page/'+str(page)+'/?s=4872200'
user_agent ='Mozilla/4.0(compatible;MSIE 5.5;Windows NT)'
headers='User-Agent':user_agent
try:
    request = urllib2.Request(url,headers=headers)
    response = urllib2.urlopen(request)
    
    #字符串在Python内部的表示是unicode编码，因此，在做编码转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码（decode）成unicode，再从unicode编码（encode）成另一种编码。
    #decode的作用是将其他编码的字符串转换成unicode编码，如str1.decode('gb2312')，表示将gb2312编码的字符串str1转换成unicode编码。
    #encode的作用是将unicode编码转换成其他编码的字符串，如str2.encode('gb2312')，表示将unicode编码的字符串str2转换成gb2312编码。 
    content = response.read().decode('utf-8')
    
    '''
    .*或者.+我清楚意思，就是匹配任意长度的任意字符，后面加个问号是表示非贪婪匹配,匹配尽可能短的字符串
 
 贪婪匹配：在满足匹配时，匹配尽可能长的字符串，默认情况下，采用贪婪匹配
    string pattern1 = @"a.*c";   // greedy match 
    Regex regex = new Regex(pattern1);
    regex.Match("abcabc"); // return "abcabc"
    
非贪婪匹配：在满足匹配时，匹配尽可能短的字符串，使用?来表示非贪婪匹配
    
    string pattern1 = @"a.*?c";   // non-greedy match 
    Regex regex = new Regex(pattern1);
    regex.Match("abcabc"); // return "abc"
    '''
    #re.S 即为’ . ’并且包括换行符在内的任意字符（’ . ’不包括换行符）
    pattern = re.compile('<div.*?author clearfix">.*?<a.*?<img.*?>.*?</a>.*?<a.*?>.*?<h2>(.*?)</h2>.*?content">'+  
                     '(.*?)</div>.*?<div class="stats">.*?vote".*?number">(.*?)</i>.*?stats-comments".*?<a.*?number">(.*?)</i>',re.S)
    
    #Python通过re模块提供对正则表达式的支持。
    #使用re的一般步骤是先使用re.compile()函数，将正则表达式的字符串形式编译为Pattern实例，然后使用Pattern实例处理文本并获得匹配结果
    
    '''
    import re
    pattern = re.compile('[a-zA-Z]')
    result = pattern.findall('as3SiOPdj#@23awe')
    print result
    # ['a', 's', 'S', 'i', 'O', 'P', 'd', 'j', 'a', 'w', 'e']
    '''
    
    items = re.findall(pattern,content)  
    for item in items :  
        print item[0],item[1],item[2],item[3] 
    #print response.read()
except urllib2.URLError, e:
    if hasattr(e, "code"):#hasattr(object, name),判断对象object是否包含名为name的特性
        print e.code
    if hasattr(e, "reason"):
        print e.reason