ken桑带你读源码 之scrapy
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了ken桑带你读源码 之scrapy相关的知识，希望对你有一定的参考价值。
开篇声明 文章讲解源码不一定从入口开始 主题更注重 思路讲解以及核心函数 ok? 废话到此为止
/scrapy/downloadermiddlewares/ 文件夹下是下载器的 中间件 简单说就是 你请求 or 返回数据都经过他
其中
def process_response(self, request, response, spider):处理返回数据
def process_request(self, request, spider): 处理请求数据
def from_crawler(cls, crawler): 先调用他 再调用 __init__
scrapy/downloadermiddlewares/redirect.py 重定向中间件
class RedirectMiddleware(BaseRedirectMiddleware): 这个是服务器重定向
以上是关于ken桑带你读源码 之scrapy的主要内容，如果未能解决你的问题，请参考以下文章