crawlscrapy简单使用方法
Posted weblinuxstudy
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了crawlscrapy简单使用方法相关的知识，希望对你有一定的参考价值。
crawlscrapy简单使用方法
1.创建项目：
scrapy startproject 项目名
例如：
scrapy startproject wxapp
windows下，cmd进入项目路径例如
d:pythonCodespiderProject>scrapy startproject wxapp
将创建项目名为 wxapp
2.使用命令创建一个爬虫：
scrapy genspider 爬虫名称 需要爬取的网址
scrapy genspider -t crawl wxapp_spider "wxapp-union.com"
注意：爬虫名称不能和项目名相同
进入项目目录
d:pythonCodespiderProject>cd wxapp
创建爬虫
d:pythonCodespiderProjectwxapp>scrapy genspider -t crawl wxapp_spider "wxapp-union.com"
命令执行后将在d:pythonCodespiderProjectwxappwxappspiders下，生成wxapp_spider.py
3.修改wxapp_spider.py文件
以上是关于crawlscrapy简单使用方法的主要内容，如果未能解决你的问题，请参考以下文章