爬虫之Scarpy.Request

Posted 2021-12-05 pythonywy

一 .Request

1.request

Scarpy中的HTTP请求对象

1.1.Requse的构造

#我们ctrl+左键可以看到Scarpy.Request的代码
class Request(object_ref):

    def __init__(self, url, callback=None, method='GET', headers=None, body=None,
                 cookies=None, meta=None, encoding='utf-8', priority=0,
                 dont_filter=False, errback=None, flags=None):

 其中我们可以看出描述他的有这几个因素
1.url:请求页面的地址(必须有这个参数)
2.callback:页面解析参数,(默认调用Spider的parse的方法)
3.method:http的请求方法,默认为'GET'
4.header:请求头部字典,NONE是不发生送给COOKIES
5.body:请求正文,bytes或者str数据类型
6.cookies:COOKIES信息字典
7meta:(我没法理解)
8.encoding:编码方式
9.priority:请求优先级,默认值为0
10.dont_filter:默认情况下是False对同一url发送多次请求不过会被过滤,对于变换的网页我们最好改成Ture防止被过滤
11.errback:请求时发送错误进行回调
12.flags:(不清楚)

1.2常用的几个参数

• url
• method
• headers
• body
• meta