团队-爬虫豆瓣top250项目-开发文档

Posted 2020-10-13 Among

爬取豆瓣——文档

一。开发语言的选择：

本次系统设计选用Python高级编程语言，其原因：Python易学易用、语法简单、url请求和字符串处理都非常便捷，为高效数据采集的流行工具。

二。本次系统实现的需求（功能）：

要采集豆瓣电影网所有的电影信息及其排名。

三。实现功能的理论（初步设想）：

浏览器把资源文件渲染成了我们看到的网页的样子，我们如果要取出网页中的数据，就需要拿到资源文件。发起Http请求，然后解析服务器返回的响应，就是爬虫的工作，所以爬虫的第一步是获取html文件。

四。爬虫实现的基本工作：

• 获取目标页面源码 -> 调用对应的类库
• 解析html文件，提取出自己想要的信息 -> 使用正则表达式解析字符串或者调用解析html的库

 五。部分模块的实现：

Attributes:
　　page: 用于表示当前所处的抓取页面
　　cur_url: 用于表示当前争取抓取页面的url
　　datas: 存储处理好的抓取到的电影名称
　　_top_num: 用于记录当前的top号码

代码：

class DouBanSpider(object) :　　

　　def __init__(self) :
　　　　self.page = 1
　　　　self.cur_url = "http://movie.douban.com/top250?start={page}&filter=&type="
　　　　self.datas = []
　　　　self._top_num = 1
　　　　print "豆瓣电影爬虫准备就绪, 准备爬取数据..."

　　def get_page(self, cur_page) :

　　　　url = self.cur_url
　　　　　try :
　　　　　　my_page = urllib2.urlopen(url.format(page = (cur_page - 1) * 25)).read().decode("utf-8")
　　　　except urllib2.URLError, e :
　　　　　　if hasattr(e, "code"):
　　　　　　　　print "The server couldn‘t fulfill the request."
　　　　　　　　print "Error code: %s" % e.code
　　　　　　elif hasattr(e, "reason"):
　　　　　　　　print "We failed to reach a server. Please check your url and read the Reason"
　　　　　　　　print "Reason: %s" % e.reason
　　　　　return my_page

　　def find_title(self, my_page) :

　　　　temp_data = []

　　　　movie_items = re.findall(r‘<span.*?class="title">(.*?)</span>‘, my_page, re.S)
　　　　for index, item in enumerate(movie_items) :
　　　　　　if item.find("&nbsp") == -1 :
　　　　　　　　temp_data.append("Top" + str(self._top_num) + " " + item)
　　　　　　　　self._top_num += 1
　　　　　self.datas.extend(temp_data)

　　def start_spider(self) :

　　　　while self.page <= 4 :

　　　　　　my_page = self.get_page(self.page)
　　　　　　self.find_title(my_page)
　　　　　　self.page += 1

　　　def main() :

　　　　my_spider = DouBanSpider()
　　　　my_spider.start_spider()
　　　　for item in my_spider.datas :
　　　　　　print item
　　　　print "豆瓣爬虫爬取结束..."

if __name__ == ‘__main__‘:
　　main()

六。功能：

本次实现了爬取豆瓣Top100名的电影

七。不足之处（尚未实现的功能）：

1.并未有电影详细信息（如“导演，评价，分数，演员等）

2.并没有爬取T250个电影，系统有些卡顿，所以只实现Top100