python爬虫开发 -------requests模块
Posted lhai000
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python爬虫开发 -------requests模块相关的知识,希望对你有一定的参考价值。
requests:
requests函数(可通过pycharm查看详细函数): -requests.get() requests.post() requests.put() requests.delet() ......... requests.request()
参数:requests.request()
-method: 提交方式
-url: 提交地址
-params 在url中传递的参数,get
例:
1 requests.request( 2 3 method = "get", 4 url = "www.ekankan.com" 5 params = {"k1":"v1","k2":"v2"} 6 ) 7 #http://www.www.ekankan.com?k1=v1&k2=v2
-data: 在请求体里传递的数据
1 requests.request( 2 3 method = "get", 4 url = "www.ekankan.com", 5 params = {"k1":"v1","k2":"v2", 6 data = {‘uers‘:‘alex‘,‘pwd‘:‘123‘} 7 } 8 9 10 ----------------------->#相当于将字典转化为字符串 11 requests.request( 12 13 method = "get", 14 url = "www.ekankan.com", 15 params = {"k1":"v1","k2":"v2", 16 data = ‘uers=alex&pwd=123‘ 17 }
-json 在请求体里传递的数据
1 requests.request( 2 method = ‘get‘, 3 url = ‘www.ekankan.com‘, 4 params = {‘k1‘:‘v1‘,‘k2‘:‘v2‘}, 5 json = {‘uers‘:‘alex‘,‘pwd‘:‘123‘} 6 7 #内部转化:"{‘uers‘:‘alex‘,‘pwd‘:‘123‘}" 8 9 )
#思考 如何设置反爬机制: (源码中的 referer 记录你上一次登陆的网站)
-headers 请求头
1 requests.request( 2 method = ‘get‘, 3 url = ‘www.ekankan.com‘, 4 params = {‘k1‘:‘v1‘,‘k2‘:‘v2‘}, 5 json = {‘uers‘:‘alex‘,‘pwd‘:‘123‘} 6 7 headers = { 8 ‘Referer‘:‘www.ekankan.com/‘ 9 ‘User-Agent‘:‘-------‘#属性,表示你用的什么浏览器访问 10 } 11 #内部转化:伪造上一次访问记录 12 13 )
-cookies 请求服务器
放在headers里面发过去的
以上为最重要的requests函数!!!!
更多参数
session 拿到cookie 并拿到gpsd授予权限
1 import requests 2 3 session = requests.Session() 4 5 #####首先登陆任何页面,获取cookie 6 i1 = session.get(url = "https://dig.chouti.com/link/vote?linksId=21518036") 7 #####用户登录,携带上一次的cookie,后台对cookie中的gpsd进行授权 8 i2 = session.post( 9 url = "http://dig.chouti.com/login", 10 data= { 11 ‘phone‘:‘xxx‘, 12 ‘password‘:‘jshfkaj‘, 13 ‘oneMonth‘:‘1‘ 14 15 } 16 17 18 ) 19 i3 = session.post( 20 url = ‘https://dig.chouti.com/link/vote?linksId=21518036‘ 21 ) 22 print(i3.text)
以上是关于python爬虫开发 -------requests模块的主要内容,如果未能解决你的问题,请参考以下文章