爬虫例子及知识点（scrapy知识点）
Posted Yemilice
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了爬虫例子及知识点（scrapy知识点）相关的知识，希望对你有一定的参考价值。
新知识：
新建一个scrapy项目：scrapy startproject xxx(项目名称）
运行一个scrapy项目：
scrapy crawl xxx（项目名称）
项目文件说明：
文件说明：
? scrapy.cfg 项目的配置信息，主要为Scrapy命令行工具提供一个基础的配置信息。（真正爬虫相关的配置信息在settings.py文件中）
? items.py 设置数据存储模板，用于结构化数据，如：Django的Model
? pipelines 数据处理行为，如：一般结构化的数据持久化
? settings.py 配置文件，如：递归的层数、并发数，延迟下载等
? scrapy.cfg 项目的配置信息，主要为Scrapy命令行工具提供一个基础的配置信息。（真正爬虫相关的配置信息在settings.py文件中）
? items.py 设置数据存储模板，用于结构化数据，如：Django的Model
? pipelines 数据处理行为，如：一般结构化的数据持久化
? settings.py 配置文件，如：递归的层数、并发数，延迟下载等
? spiders 爬虫目录，如：创建文件，编写爬虫规则
代码如下：
以上是关于爬虫例子及知识点（scrapy知识点）的主要内容，如果未能解决你的问题，请参考以下文章
纯纯的爬虫知识，python scrapy 下载中间件知多少