使用scrapy crawl name启动一个爬虫时出现的问题

Posted 沙拉薯条

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了使用scrapy crawl name启动一个爬虫时出现的问题相关的知识,希望对你有一定的参考价值。

使用scrapy crawl name启动一个爬虫时出现的问题,我的项目名字叫做 “spider_city_58”,代码如下:

from scrapy import cmdline
cmdline.execute("scrapy crawl spider_city_58".split())

来启动一个爬虫,却出现了如下错误

ImportError: No module named win32api

一开始尝试了网上其他的方法,就是去下载”pywin32-220.win-amd64-py3.6.exe“,安装,发现根本无法安装,明明我的python版本也是64位的3.6,现在也不知道为啥!

于是卸载了python和其他所有的模块,但是依然报错,之后就尝试了以下的办法就解决了,汗~~

pip install pypiwin32

唉,这么简单却没有想到,郁闷~

以上是关于使用scrapy crawl name启动一个爬虫时出现的问题的主要内容,如果未能解决你的问题,请参考以下文章

scrapy 集成 selenium

python爬虫scrapy入门6:Scrapy中runspider和crawl的区别

python爬虫scrapy入门6:Scrapy中runspider和crawl的区别

调度 scrapy 命令 scrapy crawl

scrapy框架之crawl问题解决

爬虫:Scrapy17 - Common Practices