干货|500行Python代码构建一个轻量级爬虫框架（大神）

Posted 2021-04-25 全球人工智能

全球人工智能

---

引言：xcrawler 则是利用周末时间构建的一个轻量级的爬虫框架，其中一些设计思想借鉴了著名的爬虫框架 Scrapy 。本文主要将学习到 的Python 知识综合起来，进行总结。

xcrawler框架的三大特点

• 简单、易用；

• 易于定制的 Spider；

• 多线程实现并发下载。

xcrawler有哪些地方待改进

1. 更多的测试代码；

2. 添加更多的网站爬虫示例；

3. 完善爬虫调度，支持 Request 优先级调度。

xcrawler框架介绍

项目结构：

Crawler engine （生产者+消费者模型）：

1. 引擎启动时会启动一个后台线程池，后台线程池负责下载由调度器提供给它的所有 URL（Request），并将响应（Response）结果存放到队列中；

2. 引擎的前台解析线程会不断消费处理队列中的响应（Response），并调用相应 Spider 的解析函数处理这些相应；

3. 引擎负责处页面理解析回来的对象，所有的 Request 对象都会被放到队列中（递归抓取时）等待处理，所有的字典对象（item）送给 Spider 的 process_item 方法处理。

配置介绍：

• 配置项目

1. download_delay: 每批次之间的下载延迟（单位为秒），默认为 0；

2. download_timeout：下载等待延迟，默认为 6 秒；

3. retry_on_timeout：即当下载超时后，对应的请求是否应该重试；

4. concurrent_requests：并发下载数；

5. queue_size：请求队列大小，当队列已满时，会阻塞后续的请求。

• 示例配置：

Spider 九大基类关键方法介绍

1. spider_started：该方法会在引擎启动时被触发调用，你可以通过继承该方法进行一些初始化工作，比如配置 pipeline 输出文件或者数据库连接等等；

2. spider_idle：该方法会在引擎处理空闲状态（即没有任何 requests 在队列）时被触发调用，你可以通过继承该方法给引擎添加新的请求等（使用 self.crawler.crawl(new_request, spider=self) 即可）；

3. spider_stopped：该方法会在引擎关闭时触发调用，你可以通过继承该方法并在 Spider 结束工作前做一些清理工作，如关闭文件管道、关闭数据库连接等；

4. start_requests：该方法会为引擎提该 Spider 的对应种子请求；

5. make_requests_from_url：该方法会为你的 URL 创建一个 Request 对象；

6. parse：该方法为请求的默认解析函数回调，当然你可以可以在创建 Request 时指定其它的回调函数；

7. process_request：每当引擎处理一个 Spider 对应的请求时，该方法会被触发调用，你可以通过继承该方法对 request 做些设置，比如更换随机的 User-Agent，替换 Cookies 或者代理等；当然，你可以将 request 设置为 None 从而忽略该请求；

8. proccess_response：每当引擎处理一个 Spider 对应的响应时，该方法会被触发调用；

9. process_item：每当引擎处理一个 Spider 对应的 item 时，该方法会被触发调用，你可以通过继承该方法将抓取并解析到的 item 存储到数据库或者本地文件中。

项目中需要注意的几大问题

1. 你可以在一个 Crawler 进程中装入不同的 Spider class，但需要保证不同的 Spider 的名称也要不同，否则会被引擎拒绝；

2. 需要根据情况调整下载延迟和并发数大小；下载延迟尽量不要太大，否则每批请求可能会等待较长时间才会处理完成，从而影响爬虫性能；

3. Windows 下的测试还没做，我用的是 Ubuntu。

xcrawler框架安装步骤

1. 请移步项目主页 xcrawler (https://github.com/chrisleegit/xcrawler) 下载源码；

2. 请保证你的安装环境为 Python 3.4+；

3. 请使用 pip3 setup.py install 安装即可。

示例：

热门文章推荐