简易版爬虫(豆瓣)

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了简易版爬虫(豆瓣)相关的知识,希望对你有一定的参考价值。


import requests
import re
def get_douban():

    res_str = requests.get("https://movie.douban.com/top250?start=0&filter=")

    return res_str.text
def run():

    resong = get_douban()

    obj = re.compile(‘<span class="title">(?P<name>.*?)</span>.*?<span>(?P<evaluate>.*?)</span>.*?‘
                     ‘<p class="">\\n\s+(?P<director>.*?)&nbsp;&nbsp;&nbsp;?‘, re.S)

    ret = obj.finditer(resong)

    return ret
def zuz():

    for i in run():

        yield{"name":i.group(‘name‘),
            "evaluate":i.group(‘evaluate‘),
              "director":i.group(‘director‘)

           }
for i in zuz():

    print(i)

以上是关于简易版爬虫(豆瓣)的主要内容,如果未能解决你的问题,请参考以下文章

Python爬虫|有道翻译(简易版)

简易版python爬虫--通过关键字爬取网页

Python豆瓣书籍信息爬虫

豆瓣电影简易爬取

使用scrapy简易爬取豆瓣9分榜单图书

使用scrapy简易爬取豆瓣9分榜单图书并存放在mysql数据库中