python爬虫开发 -------requests模块

Posted 2020-12-30 lhai000

requests：

　　　　requests函数（可通过pycharm查看详细函数）:  -requests.get()　　requests.post()　　requests.put()　　requests.delet()　　　　.........　　　　requests.request()

　　　　参数：requests.request()

　　　　　　　　-method:　　　　提交方式

　　　　　　　　-url:　　　　　　 提交地址

　　　　　　　　-params　　　　 在url中传递的参数，get

　　例：　　

1 requests.request(
2 
3 　　　　　　　　method = "get",
4 　　　　　　　　url = "www.ekankan.com"
5 　　　　　　　　params = {"k1":"v1","k2":"v2"}
6 )
7 #http://www.www.ekankan.com?k1=v1&k2=v2

　　　　　　　　-data:　　　　　　在请求体里传递的数据

 1 requests.request(
 2  
 3  　　　　　　　　method = "get",
 4  　　　　　　　　url = "www.ekankan.com",
 5  　　　　　　　　params = {"k1":"v1","k2":"v2",
 6                         data = {‘uers‘:‘alex‘,‘pwd‘:‘123‘}   
 7 }
 8  
 9 
10 ----------------------->#相当于将字典转化为字符串
11 requests.request(
12  
13  　　　　　　　　method = "get",
14  　　　　　　　　url = "www.ekankan.com",
15  　　　　　　　　params = {"k1":"v1","k2":"v2",
16                         data = ‘uers=alex&pwd=123‘
17 }

 

 　　　　　　　-json　　　　　　在请求体里传递的数据

 

1 requests.request(
2     method = ‘get‘,
3     url =    ‘www.ekankan.com‘,
4     params = {‘k1‘:‘v1‘,‘k2‘:‘v2‘},
5     json =      {‘uers‘:‘alex‘,‘pwd‘:‘123‘}
6     
7     #内部转化："{‘uers‘:‘alex‘,‘pwd‘:‘123‘}"
8 
9 )

　#思考　　　　如何设置反爬机制：　（源码中的　referer  记录你上一次登陆的网站）

 

 　　　　　　　　-headers      　　请求头

 1 requests.request(
 2      method = ‘get‘,
 3      url =    ‘www.ekankan.com‘,
 4      params = {‘k1‘:‘v1‘,‘k2‘:‘v2‘},
 5      json =      {‘uers‘:‘alex‘,‘pwd‘:‘123‘}
 6 
 7      headers = {
 8       ‘Referer‘:‘www.ekankan.com/‘
 9        ‘User-Agent‘:‘-------‘#属性，表示你用的什么浏览器访问   
10 }
11      #内部转化：伪造上一次访问记录
12  
13 )

　　　　　　　　-cookies　　　　请求服务器

放在headers里面发过去的

以上为最重要的requests函数!!!!

　　　　　更多参数

 

session   拿到cookie 并拿到gpsd授予权限

 1 import requests
 2 
 3 session = requests.Session()
 4 
 5 #####首先登陆任何页面，获取cookie
 6 i1 = session.get(url = "https://dig.chouti.com/link/vote?linksId=21518036")
 7 #####用户登录，携带上一次的cookie,后台对cookie中的gpsd进行授权
 8 i2 = session.post(
 9     url = "http://dig.chouti.com/login",
10     data= {
11         ‘phone‘:‘xxx‘,
12         ‘password‘:‘jshfkaj‘,
13         ‘oneMonth‘:‘1‘
14 
15     }
16 
17 
18 )
19 i3 = session.post(
20     url = ‘https://dig.chouti.com/link/vote?linksId=21518036‘
21 )
22 print(i3.text)