scrapy项目入门--shell的使用!

Posted 佛大老妖

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了scrapy项目入门--shell的使用!相关的知识,希望对你有一定的参考价值。

1、创建一个scrapy的开发环境

下载scrapy,但是由于pip版本等问题,所以没有最终成功,但是更改pycharm中的环境,使用anaconda就可以了,因为包含了scrapy环境!

2、使用 scrapy 来创建 ArticleSpider项目

打开cmd界面,输入scrapy startproject ArticleSpider

然后在相应的目录找到 ArticleSpider项目,复制到pycharm中

3、更改cmd界面目录,到达pycharm项目目录,我的目录是:C:UsersAdministratorPycharmProjectspythonArticleSpiderArticleSpiderspiders>

4、把提前写好的一个books.py文件粘贴到pycharm目录下,在cmd界面输入scrapy crawl books -0 books.csv

5、最终在pycharm页面看到生成了一个books.csv文件

以上是关于scrapy项目入门--shell的使用!的主要内容,如果未能解决你的问题,请参考以下文章

爬虫入门:Firefox 结合 Scrapy Shell 爬取网页数据

Scrapy 笔记

Python爬虫 scrapy -- scrapy 日志信息和日志等级scrapy shell的使用scrapy post请求

爬虫进阶必备Scrapy入门使用(深度好文)

Scrapy Shell

Scrapy Shell