创建爬虫

Posted 郑哲

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了创建爬虫相关的知识,希望对你有一定的参考价值。

1.创建项目

命令行到文件路径下,

scrapy startproject tutorial

产生目录

tutorial/

  scrapy.cfg

  tutorial/

    __init__.py

    items.py

    settings.py

    middlewares.py

    pipelines.py

    spiders/

      _init_.py

      。。。。

 

2.编写spider

scrapy genspider 爬虫名 初始URL #初始URL可以修改

 

3.定义item

以上是关于创建爬虫的主要内容,如果未能解决你的问题,请参考以下文章

[爬虫框架scrapy]爬虫文件的创建

AWS Glue - boto3 爬虫未创建表

创建CrawlSpider爬虫简要步骤

创建一个通用的爬虫蜘蛛

scrapy工具创建爬虫工程

创建爬虫