requests补充

Posted 2020-09-18 善行者无疆

HTTP/1.1 协议规定的 HTTP 请求方法有 OPTIONS、GET、HEAD、POST、PUT、DELETE、TRACE、CONNECT 这几种。其中，POST 一般用来向服务端提交数据，本文主要讨论 POST 提交数据的几种方式。

这里主要讨论一下requests模仿浏览器请求的四种方式。

一、application/x-www-form-urlencoded

这种方式的传递参数，在requests中，属于get的方法。会有一个字典形式的数据，然后我们在请求的时候：

import requests

url = \'https://i.cnblogs.com/EditPosts.aspx?opt=1\'
parameter = {
    \'123\': \'456\',
    \'234\': \'345\'
}
r = requests.get(url, params=parameter)

这种请求方式比较常见，一般学requests的时候都会用到。

 

二、multipart/x-www-form-data

这种属于post中上传文件的方式，具体代码：

url = \'https://i.cnblogs.com/EditPosts.aspx?opt=1\'
files = {\'app_id\': (None, \'123456\'),
         \'version\': (None, \'2256\'),
         \'platform\': (None, \'ios\'),
         \'libzip\': (\'libmsc.zip\', open(\'C:\\Users\\danwang3\\Desktop\\libmsc.zip\', \'rb\'), \'application/x-zip-compressed\')
 }
response = requests.post(url, files=files)

# 代码是从http://blog.csdn.net/j_akill/article/details/43560293，拷贝来的，没有用过。

这种请求方式，在做爬虫的时候很少会遇见，如果有需求，requests也是可以实现这样的方式进行post提交的。

 

三、application/json

这种方式和第一种的使用率是一样的，都很高，也得益于json格式的流行。很常见的post请求数据格式。

import requests

url = \'https://i.cnblogs.com/EditPosts.aspx?opt=1\'
form_data = {
    \'123\': \'456\',
    \'234\': \'345\'
}
r = requests.get(url, data=form_data)

这种请求方式，代码也比较简洁，很常见。

它还有一种变种方式：request payload，这种是浏览器发送的ajax请求

{
number: "18047137483",
password: "",
randomPass: "",
sRand: "SSOLogin",
userLoginType: "4"
}

它的不同之处，是长得像字典，但是仔细一看不是字典，如果你写成字典，请求就会失败。

我们在模拟这样的请求的时候，需要使用到json

import json
import requests

url = \'http://www.***\'
data = {
    \'123\': \'654\',
    \'abc\': \'ddd\',
}
form_data = json.dumps(data)
r = requests.post(url, data=form_data)
html = r.text
# 在json.dumps之前，我们还是要一个字典形式的数据的。

 另外还有一种，也是request payload的数据类型。是目前见过的最变态的请求数据格式：

callCount=1
page=/service/bill/customerbill/index.jsp?bill=detail
httpSessionId=
scriptSessionId=AA0CBE9FB90164F9E0E55CF74FCC9338568
c0-scriptName=Service
c0-methodName=excute
c0-id=0
c0-param0=string:TWB_GET_MONTH_DETAIL_BILL_NEW
c0-param1=boolean:false
c0-e1=string:myPage
c0-e2=string:myPage_table
c0-e3=string:TWB_GET_MONTH_DETAIL_BILL_NEW
c0-e4=boolean:false
c0-e5=string:15
c0-e6=string:1
c0-e7=null:null
c0-e8=boolean:false
c0-e9=null:null
c0-e10=string:-1
c0-param2=Object_Object:{div_id:reference:c0-e1, table_id:reference:c0-e2, func_id:reference:c0-e3, is_sql:reference:c0-e4, 
page_size:reference:c0-e5, page_index:reference:c0-e6, exp_excel:reference:c0-e7, hide_pager:reference:c0-e8, class_name:reference:c0-e9,
 area_code:reference:c0-e10}
batchId=4
# 以上是请求的时候页面上显示的部分数据

这种数据我们怎么去post呢？当然是有办法的，不止一种，这里举一个实用的例子

import requests

url = \'http://****\'
form_data = {
        \'callCount\': \'1\',
        \'page\': \'/service/bill/customerbill/index.jsp?bill=balance\',
        \'httpSessionId\': \'\',
        \'scriptSessionId\': \'AA0CBE9FB90164F9E0E55CF74FCC9338775\',
        \'c0-scriptName\': \'Service\',
        \'c0-methodName\': \'excute\',
        \'c0-id\': \'0\',
        \'c0-param0\': \'string:TWB_GET_MONTH_DETAIL_BILL\',
        \'c0-param1\': \'boolean:false\',
        \'c0-e1\': \'string:myPage\',
        \'c0-e2\': \'string:myPage_table\',
        \'c0-e3\': \'string:TWB_GET_MONTH_DETAIL_BILL\',
        \'c0-e4\': \'boolean:false\',
        \'c0-e5\': \'string:15\',
        \'c0-e6\': \'string:1\',
        \'c0-e7\': \'null:null\',
        \'c0-e8\': \'boolean:false\',
        \'c0-e9\': \'null:null\',
        \'c0-e10\': \'string:-1\',
        \'c0-param2\': \'Object_Object:{div_id:reference:c0-e1, table_id:reference:c0-e2, func_id:reference:c0-e3, is_sql:reference:c0-e4,
 page_size:reference:c0-e5, page_index:reference:c0-e6, exp_excel:reference:c0-e7, hide_pager:reference:c0-e8, class_name:reference:c0-e9,
 area_code:reference:c0-e10,}\',
        \'batchId\': \'4\'
    }.
r = requests.post(url, data=form_data)
# 因为是演示请求，数据可能和原始数据不太对应，这里只是伪代码，明白意思即可。

　　

 

四、text/xml

这种请求方式，是不才最近刚遇到的一种方式。之前也没有接触过，它是使用post请求方式给服务器端发送了一个带HTML标签的字符串。这种在编写的时候也比较简单，但是因为不常见，所以也困扰了比较长的时间。

url = \'https://i.cnblogs.com/EditPosts.aspx?opt=1\'
payload = \'\'\'
<buffalo-call>
<method>getCode</method>
<map>
<type>java.util.HashMap</type>
<string>ABC</string>
<string>123654</string>
<stringID</string>
</map>

</buffalo-call>
\'\'\'
headers = {
    \'Content-Type\': \'text/xml;charset=UTF-8\'
}
r = requests.post(url, data=payload, headers=headers)
# 注：在遇到这种数据方式的时候，我们一定要对请求头的\'Content-Type\'进行设置，让它的值为\'text/xml\'

　　

因为这种形式的请求很少见，所以难免会造成一些困惑，记下来以便后续查询，也希望能帮助刚接触requests的小伙伴。