scrapy项目入门--shell的使用!
Posted 佛大老妖
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了scrapy项目入门--shell的使用!相关的知识,希望对你有一定的参考价值。
1、创建一个scrapy的开发环境
下载scrapy,但是由于pip版本等问题,所以没有最终成功,但是更改pycharm中的环境,使用anaconda就可以了,因为包含了scrapy环境!
2、使用 scrapy 来创建 ArticleSpider项目
打开cmd界面,输入scrapy startproject ArticleSpider
然后在相应的目录找到 ArticleSpider项目,复制到pycharm中
3、更改cmd界面目录,到达pycharm项目目录,我的目录是:C:UsersAdministratorPycharmProjectspythonArticleSpiderArticleSpiderspiders>
4、把提前写好的一个books.py文件粘贴到pycharm目录下,在cmd界面输入scrapy crawl books -0 books.csv
5、最终在pycharm页面看到生成了一个books.csv文件
以上是关于scrapy项目入门--shell的使用!的主要内容,如果未能解决你的问题,请参考以下文章
爬虫入门:Firefox 结合 Scrapy Shell 爬取网页数据
Python爬虫 scrapy -- scrapy 日志信息和日志等级scrapy shell的使用scrapy post请求