Scrapy框架学习第二天
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Scrapy框架学习第二天相关的知识，希望对你有一定的参考价值。
编写scrapy爬虫的具体流程
最初：分析网站页面需要爬取的结构
第一步：创建scrapy项目：scrapy startproject +文件名
第二步：打开项目
第三步：编写items.py
第四步：创建爬虫文件（基础爬虫文件创建指令：scrapy genspider + 爬虫名 +"网站名"）
第五步：编写文件
第六步：编写管道文件（piplines.py）
第七步：修改setting.py文件（设置爬虫文件必须的功能）
小知识点：linux中 tree是树形结构显示文件结构
以上是关于Scrapy框架学习第二天的主要内容，如果未能解决你的问题，请参考以下文章
python应用：爬虫框架Scrapy系统学习第二篇——windows下安装scrapy
python应用：爬虫框架Scrapy系统学习第三篇——初识scrapy