requests实战之豆瓣电影爬取

Posted gerenboke

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了requests实战之豆瓣电影爬取相关的知识，希望对你有一定的参考价值。

import requests
import json

if __name__ == "__main__":
    url = ‘https://movie.douban.com/j/chart/top_list‘
    param = {
        ‘type‘:‘24‘,
        ‘interval_id‘:‘100:90‘,
        ‘action‘:‘‘,
        ‘start‘:‘0‘,
        ‘limit‘:‘20‘,
    }
    headers = {
        ‘User-Agent‘:‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/47.0.2626.106 Safari/537.36‘
    }
    response = requests.get(url=url,params=param,headers=headers)

    list_data = response.json()

    fp = open(‘./douban.json‘, ‘w‘, encoding=‘utf-8‘)
    json.dump(list_data,fp=fp,ensure_ascii=False)

    print(‘over!!!‘)

以上是关于requests实战之豆瓣电影爬取的主要内容，如果未能解决你的问题，请参考以下文章