python 爬取豆瓣电影前250名

Posted 2021-05-09

import requests
import re

# python3 如果出现乱码的话
# import importlib
# importlib.reload(importlib)

# 存放电影名字的List
movieList = []

# 打开文件
f = open('/Users/fangchao/Desktop/movies.txt','w',encoding='utf-8')

# 循环获取豆瓣电影数据
for page in range(10):
    # 利用requests请求豆瓣数据
    r = requests.get('https://movie.douban.com/top250?start='+str(page*25))
    # 豆瓣内容
    content = r.text
    # 利用正则表达式筛选出电影名
    re_movie = r'<span class="title">(.*?)</span>'
    movies = re.findall(re_movie,content)
    # 循环获取到的电影名List 并打印写入文件
    for movieName in movies:
        if movieName.find('/') == -1:
            movieList.append(movieName)
            f.write(movieName+'\n')
            print(movieName)

# 关闭文件
f.close()