python中scrapy怎么发送一个post请求
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python中scrapy怎么发送一个post请求相关的知识,希望对你有一定的参考价值。
参数:url (string) – 请求的URL
callback (callable) – the function that will be called with the response of this request (once its downloaded) as its first parameter. For more information see Passing additional data to callback functions below. If a Request doesn’t specify a callback, the spider’s parse() method will be used. Note that if exceptions are raised during processing, errback is called instead.
method (string) – 此请求的HTTP方法。默认是 \'GET\'。
meta (dict) – Request.meta 属性的初始值。 一旦此参数被设置, 通过参数传递的字典将会被浅拷贝。
body (str or unicode) – request体。如果传进的参数是 unicode 类型,将会被编码为 str 类型。如
果 body 参数没有给定,那么将会存储一个空的string类型,不管 这个参数是什么类型的,最终存储的都会是 str 类型(永远不会
是 unicode 或是 None)。
headers (dict) – 请求头。字典值的类型可以是strings (for single valued headers) 或
是 lists (for multi-valued headers)。如果传进的值是 None ,那么HTTP头将不会被发送。
cookies (dict or list) –
请求的cookies。可以被设置成如下两种形式。 参考技术A 浏览的人好少哦,网上的答案寥寥无几
post提交方法
yield scrapy.FormRequest(url=POST_URL, formdata=body, callback=self.parse_phone,
meta='item': inverstment_item, 'body': body, priority=2)
formdata:type是dict
callback:回掉函数,
meta:携带的参数 ,meta可以在网上找到答案
priority:优先级 优先级越高越在前面,如果你不加优先级,默认会放在任务队列中,也就是说等到把所有优先级为1的全部完成以后在完成优先级2的任务。
默认优先级为0 ,0最小,然后以此类推。
python爬虫scrapy入门8:发送POST请求
scrapy基础知识之发送POST请求与使用 FormRequest.from_response() 方法模拟登陆
https://blog.csdn.net/qq_33472765/article/details/80958820
scrapy框架中的Request()、FormRequest()、FormRequest.from_response()做一个小结
https://blog.csdn.net/qq_43546676/article/details/89043445
以上是关于python中scrapy怎么发送一个post请求的主要内容,如果未能解决你的问题,请参考以下文章
python爬虫---scrapy框架爬取图片,scrapy手动发送请求,发送post请求,提升爬取效率,请求传参(meta),五大核心组件,中间件