爬虫学习笔记 -- requests库基础

Posted 2022-09-14 web安全工具库

0x01 requests库安装

1、通过控制台运行下面代码

pip3 install requests

2、通过Pycharm安装，点击+号，搜索requests，然后点击安装

 

0x02 GET请求

1、普通请求

import requests
url="http://www.baidu.com";
r=requests.get(url);
print(r.text)

2、添加请求头

import requests
url="http://www.baidu.com"
heads=
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/86.0.4240.198 Safari/537.36'

r=requests.get(url,headers=heads)
print(r.text)

3、添加cookie

import requests
url="http://www.baidu.com"
heads=
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36',
'Cookie':'uuid_tt_dd=10_10269529350-1648285639670-485400; UserName=weixin_41489908;'

r=requests.get(url,headers=heads)
print(r.text)

0x03 POST请求

import requests
url="http://www.baidu.com"
heads=
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36',
'Cookie':'uuid_tt_dd=10_10269529350-1648285639670-485400; UserName=weixin_41489908;'

data=
    'user':'aaa',
    'pass':'123'

r=requests.post(url,headers=heads,data=data)
print(r.text)

0x04 代理设置

#主要代码
proxies=
    'http':'http://1.2.3.4:8080',
    'https':'https://1.2.3.4:8000'

r=requests.post(url,headers=heads,data=data,proxies=proxies)

0x05 证书验证

添加一个verify参数即可

r=requests.post(url,headers=heads,data=data,proxies=proxies,verify=False)

0x06 声明

仅供安全研究与学习之用，若将工具做其他用途，由使用者承担全部法律及连带责任，作者不承担任何法律及连带责任。

欢迎关注公众号编程者吧