scrapy shell

Posted 小麦粒的Python

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了scrapy shell相关的知识,希望对你有一定的参考价值。

一、scrapy shell

1、安装pip install Jupyter

wps7895.tmp 

2、pycharm中的启动命令: scrapy shell

   注:启动后关键字高亮显示

wps7896.tmp 

3、查看response

执行scrapy shell http://www.521609.com,查看response

 

wps7897.tmp 

 

二、Scrapyshell 使用细节

注:调用:scrapy shell https://www.xxx.com/

1、Scrapyshell 终端是一个交互终端

我们可以在未启动spider的情况下尝试及调试代码,也可以用来测试XPathCSS表达式,查看他们的工作方式,方便我们爬取的网页中提取的数据

2Jupyter

如果安装了 Jupyter Scrapy终端将使用 Jupyter (替代标准Python终端)Jupyter 终端与其他相比更为强大,提供智能的自动补全,高亮输出,及其他特性。推荐安装Jupyter

3response

shell载入后,将得到一个包含response数据的本地 response 变量,输入 response.body将输出response的包体,输出 response.headers 可以看到response响应

4、response.selector

输入 response.selector 时, 将获取到一个response 初始化的类 Selector 的对象,此时可以通过使用 response.selector.xpath()response.selector.css() 来对 response 进行查询

5、执行命令

1scrapy shell http://www.ichong123.com/pics/

2执行:li_list = response.xpath(\'//ul[@class="conlist cf"]/li\')

3执行:len(li_list)   证明有数据

 

wps7898.tmp 

 

4)执行:li_list[0].xpath(\'.//img/@src\').extract_first()得到图片

5)执行:li_list[0].xpath(\'.//a/text()\').extract()[0]得到图片名字

 

wps7899.tmp 

 

 

以上是Scrapyshell 的基本使用,谢谢关注!!!

 

欢迎关注小婷儿的博客:

csdnhttps://blog.csdn.net/u010986753

博客园:http://www.cnblogs.com/xxtalhr/

 

有问题请在博客下留言或加QQ群:483766429 或联系作者本人 QQ 87605025

 

OCP培训说明连接:https://mp.weixin.qq.com/s/2cymJ4xiBPtTaHu16HkiuA

OCM培训说明连接:https://mp.weixin.qq.com/s/7-R6Cz8RcJKduVv6YlAxJA

 

小婷儿的python正在成长中,其中还有很多不足之处,随着学习和工作的深入,会对以往的博客内容逐步改进和完善哒。

小婷儿的python正在成长中,其中还有很多不足之处,随着学习和工作的深入,会对以往的博客内容逐步改进和完善哒。

小婷儿的python正在成长中,其中还有很多不足之处,随着学习和工作的深入,会对以往的博客内容逐步改进和完善哒。

重要的事说三遍。。。。。。

 

 

    wps78AA.tmp    wps78AB.tmp

 

 

 

 

以上是关于scrapy shell的主要内容,如果未能解决你的问题,请参考以下文章

scrapy基础知识之 Scrapy 和 scrapy-redis的区别:

scrapy的使用

Scrapy分布式爬虫实战:Scrapy基础知识

Python爬虫 scrapy -- scrapy 日志信息和日志等级scrapy shell的使用scrapy post请求

python爬虫随笔-scrapy框架——scrapy框架的安装和结构介绍

scrapy-redis 和 scrapy 有啥区别