Scrapy-Shell的用法以及request和response的区别

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Scrapy-Shell的用法以及request和response的区别相关的知识,希望对你有一定的参考价值。

参考技术A ②用 bs4 来查找网页数据

发送request请求 

scrapy.Request(url)  一般为Get请求 

当要请求Post方法的时候用request的子类FormRequest表单请求

一般存储用户名密码用来登录

如果想要在一开始的时候后使用Post请求就必须在爬虫类中重写start_request(self)

并且不再调用start_url中的url

最适合新手上手的爬虫项目!requests的用法最全合集!

技术分享图片

技术分享图片

技术分享图片

然后我们在知乎搜索框内输入需要搜索的内容,你将会看到网页后台与前台数据交互的变化,加载的数据以及数据请求的方式和参数。如图1.2:

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

多了一个search的请求文件,我们点开和第一个对比发现,offset字段从0变成了10。我们复制一下这里的url在新开的标签页粘贴后,发现如图1.5:

技术分享图片

技术分享图片

技术分享图片

好了第一层我们差不多做好了,进入网站第二层,随意点击一个我们搜索产生的内容标题,跳转至一个新的页面,我们用同样的方法,观察第二层我们与服务端交互的信息 如图 1.6:

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

(2) 文章样式提取数据

技术分享图片

(3)问答模板提取数据

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

欢迎大家关注我的博客:http://www.cnblogs.com/sm123456/

 欢迎大家加入万人交流群:125240963

以上是关于Scrapy-Shell的用法以及request和response的区别的主要内容,如果未能解决你的问题,请参考以下文章

最适合新手上手的爬虫项目!requests的用法最全合集!

def --- DRF视图的详细用法

原生JS封装ajax以及request

ServletContext详解 以及用法

request.getServletPath()和request.getPathInfo()用法

Python+requests环境搭建和基本用法