python爬虫开发 -------requests模块

Posted lhai000

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python爬虫开发 -------requests模块相关的知识,希望对你有一定的参考价值。

requests:

    requests函数(可通过pycharm查看详细函数):  -requests.get()  requests.post()  requests.put()  requests.delet()    .........    requests.request()

    参数:requests.request()

        -method:    提交方式

        -url:       提交地址

        -params     在url中传递的参数,get

  例:  

1 requests.request(
2 
3         method = "get",
4         url = "www.ekankan.com"
5         params = {"k1":"v1","k2":"v2"}
6 )
7 #http://www.www.ekankan.com?k1=v1&k2=v2

        -data:      在请求体里传递的数据

 1 requests.request(
 2  
 3          method = "get",
 4          url = "www.ekankan.com",
 5          params = {"k1":"v1","k2":"v2",
 6                         data = {uers:alex,pwd:123}   
 7 }
 8  
 9 
10 ----------------------->#相当于将字典转化为字符串
11 requests.request(
12  
13          method = "get",
14          url = "www.ekankan.com",
15          params = {"k1":"v1","k2":"v2",
16                         data = uers=alex&pwd=123
17 }

 

        -json      在请求体里传递的数据

 

1 requests.request(
2     method = get,
3     url =    www.ekankan.com,
4     params = {k1:v1,k2:v2},
5     json =      {uers:alex,pwd:123}
6     
7     #内部转化:"{‘uers‘:‘alex‘,‘pwd‘:‘123‘}"
8 
9 )

 #思考    如何设置反爬机制: (源码中的 referer  记录你上一次登陆的网站)

 

         -headers        请求头

 1 requests.request(
 2      method = get,
 3      url =    www.ekankan.com,
 4      params = {k1:v1,k2:v2},
 5      json =      {uers:alex,pwd:123}
 6 
 7      headers = {
 8       Referer:www.ekankan.com/
 9        User-Agent:-------#属性,表示你用的什么浏览器访问   
10 }
11      #内部转化:伪造上一次访问记录
12  
13 )

        -cookies    请求服务器

放在headers里面发过去的

以上为最重要的requests函数!!!!

     更多参数

 技术分享图片

session   拿到cookie 并拿到gpsd授予权限

 1 import requests
 2 
 3 session = requests.Session()
 4 
 5 #####首先登陆任何页面,获取cookie
 6 i1 = session.get(url = "https://dig.chouti.com/link/vote?linksId=21518036")
 7 #####用户登录,携带上一次的cookie,后台对cookie中的gpsd进行授权
 8 i2 = session.post(
 9     url = "http://dig.chouti.com/login",
10     data= {
11         phone:xxx,
12         password:jshfkaj,
13         oneMonth:1
14 
15     }
16 
17 
18 )
19 i3 = session.post(
20     url = https://dig.chouti.com/link/vote?linksId=21518036
21 )
22 print(i3.text)

 

以上是关于python爬虫开发 -------requests模块的主要内容,如果未能解决你的问题,请参考以下文章

Python爬虫开发学习全教程第二版,爆肝十万字建议收藏

python爬虫入门

python爬虫之趟雷

Python爬虫第二天

python58同城爬虫

python 爬虫--糗事百科段子