500 行 Python 代码构建一个轻量级爬虫框架

Posted 2021-04-25 青灯编程

引言

玩 Python 爬虫有段时间了，但是目前还是处于入门级别。xcrawler 则是利用周末时间构建的一个轻量级的爬虫框架，其中一些设计思想借鉴了著名的爬虫框架 Scrapy 。既然已经有像 Scrapy 这样优秀的爬虫框架，为何还要造轮子呢？嗯，其实最主要的还是想要将学习到 Python 知识综合起来，提高一下自己。

Features

1. 简单、易用；

2. 易于定制的 Spider；

3. 多线程实现并发下载。

待改进

1. 更多的测试代码；

2. 添加更多的网站爬虫示例；

3. 完善爬虫调度，支持 Request 优先级调度。

xcrawler 介绍

项目结构

Crawler engine （生产者+消费者模型）

1. 引擎启动时会启动一个后台线程池，后台线程池负责下载由调度器提供给它的所有 URL（Request），并将响应（Response）结果存放到队列中；

2. 引擎的前台解析线程会不断消费处理队列中的响应（Response），并调用相应 Spider 的解析函数处理这些相应；

3. 引擎负责处页面理解析回来的对象，所有的 Request 对象都会被放到队列中（递归抓取时）等待处理，所有的字典对象（item）送给 Spider 的 process_item 方法处理。

配置介绍

• 配置项目

1. download_delay: 每批次之间的下载延迟（单位为秒），默认为 0；

2. download_timeout：下载等待延迟，默认为 6 秒；

3. retry_on_timeout：即当下载超时后，对应的请求是否应该重试；

4. concurrent_requests：并发下载数；

5. queue_size：请求队列大小，当队列已满时，会阻塞后续的请求。

• 示例配置：

Spider 基类关键方法介绍

注意

1. 你可以在一个 Crawler 进程中装入不同的 Spider class，但需要保证不同的 Spider 的名称也要不同，否则会被引擎拒绝；

2. 需要根据情况调整下载延迟和并发数大小；下载延迟尽量不要太大，否则每批请求可能会等待较长时间才会处理完成，从而影响爬虫性能；

3. Windows 下的测试还没做，我用的是 Ubuntu，所以如果您有什么问题，欢迎反馈哈！

安装

1. 请移步项目主页 xcrawler (https://github.com/chrisleegit/xcrawler) 下载源码；

2. 请保证你的安装环境为 Python 3.4+；

3. 请使用 pip3 setup.py install 安装即可。

示例

1. from xcrawler import CrawlerProcess

2. from xcrawler.spider import BaseSpider, Request

3. from lxml.html import fromstring

4. import json

6. __version__ = '0.0.1'

7. __author__ = 'Chris'

10. class BaiduNewsSpider(BaseSpider):

11.   name = 'baidu_news_spider'

12.   start_urls = ['http://news.baidu.com/']

13.   default_headers = {

14.       'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) '

15.                     'Chrome/50.0.2661.102 Safari/537.36'

16.   }

18.   def spider_started(self):

19.       self.file = open('items.jl', 'w')

21.   def spider_stopped(self):

22.       self.file.close()

24.   def spider_idle(self):

25.       # 引擎空闲时，你也可以从数据库中提取新的 URL 进来

26.       print('I am in idle mode')

27.       # self.crawler.crawl(new_request, spider=self)

29.   def make_requests_from_url(self, url):

30.       return Request(url, headers=self.default_headers)

32.   def parse(self, response):

33.       root = fromstring(response.content, base_url=response.base_url)

34.       for element in root.xpath('//a[@target="_blank"]'):

35.           title = self._extract_first(element, 'text()')

36.           link = self._extract_first(element, '@href').strip()

37.           if title:

38.               if link.startswith('http://') or link.startswith('https://'):

39.                   yield {'title': title, 'link': link}

40.                   yield Request(link, headers=self.default_headers, callback=self.parse_news,

41.                                 meta={'title': title})

43.   def parse_news(self, response):

44.       pass

46.   def process_item(self, item):

47.       print(item)

48.       print(json.dumps(item, ensure_ascii=False), file=self.file)

50.   @staticmethod

51.   def _extract_first(element, exp, default=''):

52.       r = element.xpath(exp)

53.       if len(r):

54.           return r[0]

56.       return default

59. def main():

60.   settings = {

61.       'download_delay': 1,

62.       'download_timeout': 6,

63.       'retry_on_timeout': True,

64.       'concurrent_requests': 16,

65.       'queue_size': 512

66.   }

67.   crawler = CrawlerProcess(settings, 'DEBUG')

68.   crawler.crawl(BaiduNewsSpider)

69.   crawler.start()

72. if __name__ == '__main__':

73.   main()

源自：http://blog.chriscabin.com/?p=1512