Python使用Scrapy爬虫框架全站爬取图片并保存本地(妹子图)

Posted 2020-09-20

大家可以在Github上clone全部源码。

Github：https://github.com/williamzxl/Scrapy_CrawlMeiziTu

Scrapy官方文档：http://scrapy-chs.readthedocs.io/zh_CN/latest/index.html

基本上按照文档的流程走一遍就基本会用了。

 

Step1：

在开始爬取之前，必须创建一个新的Scrapy项目。 进入打算存储代码的目录中，运行下列命令:

scrapy startproject CrawlMeiziTu

该命令将会创建包含下列内容的 tutorial 目录:

CrawlMeiziTu/
    scrapy.cfg
    CrawlMeiziTu/
        __init__.py
        items.py
        pipelines.py
        settings.py
　　　　 middlewares.py
        spiders/
            __init__.py
            ...

cd CrawlMeiziTu

scrapy genspider Meizitu http://www.meizitu.com/a/list_1_1.html

该命令将会创建包含下列内容的 tutorial 目录:

CrawlMeiziTu/
    scrapy.cfg
    CrawlMeiziTu/
　　　　 __init__.py
        items.py
        pipelines.py
        settings.py
　　　　 middlewares.py
        spiders/
　　　　　　　Meizitu.py
            __init__.py
            ...

我们主要编辑的就如下图箭头所示：


main.py是后来加上的，加了两条命令，主要为了方便运行。

Step2：编辑Settings,如下图所示


Step3:编辑Items.


Step4:编辑Pipelines


Step5:编辑Meizitu的主程序。