scrapy

Posted 2020-08-14

安装命令行安装scrapy  跟着创建工程  在开发工具引入依赖包。python3.4不支持

在命令行查看。命令工具：

1.help<<<< scrapy --help  查看他的版本和下面的子命令

2.version<<<<scrapy version -v 查看他的版本各个组件的版本

3.startproject<<<scrapy starproject 新建一个工程和完整结构

4.genspider<<<<<scrapy genspider 在spider工程目录下再创建一子目录文件

5.list<<<<<<scrapy list 列出所有的工程目录

6.view<<<<<<scrapy view 网址 可以查看你当前写的爬取网址的工程代码构造

7.parse<<<<scrapy parse url(网址）parse只是一个函数 他能解析工程当前的url。

8.shell<<<<scrapy shell 网址 他是一个全局变量。他可以查看工程有那些的方法

9.<<<<<response .xpath<html的xpath复制的信息>。可以查看html里面的是信息获取指定的断点信息加.extract<元素>（另用re正侧方法获取指定的元素）

10.bench<<<<scrapy bench查看你安装scrapy是否成功