正则爬虫案例

Posted 2020-09-26 皖心

#coding:utf-8

import requests
import re
import json

url=‘https://movie.douban.com/top250?start=0&filter=‘ #豆瓣网

def get_page(url):
　　#获取网页上的数据
    response_html=requests.get(url)
    #response_html.encoding = response_html.apparent_encoding
    return response_html.text  

def run(url):
    response=get_page(url)
　　#编译匹配规则，找出用的数据
    obj=re.compile(‘<div class="item">.*?<em.*?>(?P<id>\d+)</em>.*?<span class="title">(?P<title>.*?)</span>.*?<p .*?>(?P<info>.*?)</p>.*?<span class="rating_num" .*?>(?P<rating>.*?)</span>.*?<span>(?P<appraise>\w+)</span>‘,re.S)
    res=obj.finditer(response)
    file={}
    for i in res:
        file[i.group(‘id‘)]=(i.group(‘title‘),i.group(‘rating‘),i.group(‘appraise‘))
        # print(file)
　　　　　#将有用的信息转成json格式，以字典的格式储存到文件中
　　　　　content=json.dumps(file,ensure_ascii=False)
        f = open(‘doubian.txt‘, ‘a‘)
        f.seek(0,2)
        f.write(content+‘\n‘)
        file={}

i=0
while i < 251:
   #循环取出所有网页里的内容（根据网页不同进行更改）
    a=i
    run(url)
    i+=25
    url=re.sub(‘start=\d+‘,‘start=‘+str(i),url)
    print(url)