Scrapy shell的使用python爬虫入门进阶（22）

Posted 2022-02-16 码农飞哥

您好，我是码农飞哥，感谢您阅读本文，欢迎一键三连哦。
😁 1. 社区逛一逛，周周有福利，周周有惊喜。码农飞哥社区，飞跃计划
💪🏻 2. Python基础专栏，基础知识一网打尽，9.9元买不了吃亏，买不了上当。 Python从入门到精通
❤️ 3. Python爬虫专栏，系统性的学习爬虫的知识点。9.9元买不了吃亏，买不了上当，持续更新中 。python爬虫入门进阶
❤️ 4. Ceph实战，从原理到实战应有尽有。 Ceph实战
❤️ 5. Java高并发编程入门，打卡学习Java高并发。 Java高并发编程入门
关注下方公众号，众多福利免费嫖；加我VX进群学习，学习的路上不孤单

文章目录

• • 打开Scrapy shell
  • 总结
  • 粉丝专属福利

我们想要在爬虫中使用xpath、beautifulsoup、正则表达式，css选择器等来提取想要的数据，但是因为scrapy是一个比较重的框架，每次运行都要等到一段时间，因此要去验证我们提取规则是否正确，是一个比较麻烦的事情，因此，scrapy提供了一个shell。用来方便的测试规则，当然也不仅仅局限于这一个功能。

打开Scrapy shell

进入命令行终端，进入到scrapy项目所在的目录，然后进入到scrapy框架所在的虚拟环境中，输入命令 scrapy shell [链接] ，就会进入到scrapy的shell环境中。在这个环境中，你可以跟在爬虫的parse方法中一样使用了。

1. 进入到scrapy项目所在的目录

cd /Volumes/development/Python_learn/PycharmProjects/scrapy_demo/bmw_img_demo/

2. 进入到scrapy框架所在的虚拟环境中

 source /Volumes/development/Python_learn/PycharmProjects/venv/crawler_evn/bin/activate

3. 输入命令 scrapy shell [链接] :

scrapy shell https://car.autohome.com.cn/pic/series/66.html

4. 输入我们需要测试的语句

       srcs = response.xpath('//div[contains(@class,"uibox-con")]/ul/li/a/img/@src').getall()

总结

本文通过简单的介绍了Scrapy shell的使用

粉丝专属福利

软考资料：实用软考资料

面试题：5G 的Java面试题

学习资料：50G的各类学习资料

脱单秘籍：回复【脱单】

并发编程：回复【并发编程】

											           👇🏻 验证码 可通过搜索下方 公众号 获取👇🏻