python 利用 scrapy 实现3个爬虫简单入门数据抓取

Posted 2021-12-01 stillstep

 

执行可能会遇到报错

scrapy crawl itemSpider
Scrapy 1.6.0 - no active project

Unknown command: crawl

Use "scrapy" to see available commands
PS E:\\pyproject\\scrapymingyan>

原因可能是

1.没有进入项目根目录

2. 可能是自己一个大项目命名的文件夹下有多个小项目, 执行具体的项目需要进入具体的小项目的根目录中去. 自己误以为大项目就是项目根目录了. (其实这个不是真正的项目, 只是一个文件夹而已, 各个小项目放在这个目录而已)

爬虫小项目练手:

名言抓取

运行项目:  scrapy crawl  mingyan2

重点提醒: ，我们一定要进入：mingyan2 这个目录，也就是我们创建的蜘蛛项目目录，以上命令才有效！还有  crawl  后面跟的是你类里面定义的蜘蛛名，也就是：name，并不是项目名、也不是类名，这些细节希注意！

另外注意   如果还编写了其他的爬虫在这个项目里  每个的文件都需要正确   比如另外写了一个爬虫 ,但是文件中没有声明

https://blog.csdn.net/userhr/article/details/78803100

 

美剧抓取 和 图片抓取简单例子

https://www.cnblogs.com/kongzhagen/p/6549053.html