团队-爬虫豆瓣top250项目-模块开发过程

Posted 2020-10-12

项目托管平台地址:https://github.com/gengwenhao/GetTop250.git

开发模块功能:
"get_urls()生成前250电影的页面地址"功能,开发时间:1天(小时),实现了"前250电影的页面地址生成并封装传递给其他模块",实现过程是

python def get_urls(): base_url = r‘ https://movie.douban.com/top250?start=%s&filter=‘ urls = [] for i in range(0, 11): index = i * 25 url = base_url % (index) urls.append(url) return urls

通过分析地址的规则, 构造get的filter传参
遇到的问题及问题解决方法:
开发电影地址获取时遇到了"无法请求到页面"的问题,最终使用"在请求头加入firefox浏览器标识"方法解决了这个问题

    html = requests.get(url, headers=HEADERS)
    html.encoding = "utf8"