第五节 IP代理和cookie

Posted 2021-03-05 kogmaw

 1 import urllib.request
 2 url1 = ‘https://www.baidu.com‘
 3 
 4 
 5 #http://www.httpbin.org 这个网站可以课程方便的查看http请求的一些参数
 6 # 快代理
 7 #创建一个代理IP，传入的值是一个字典，键是http或者https ，值是IP：端口号，.Proxy代理，Handler组织者，顾问
 8 handler = urllib.request.ProxyHandler({‘http‘:‘114.226.162.29:9999‘})
 9 opener = urllib.request.build_opener(handler)
10 resp = opener.open(url1)
11 print(resp.readline())

 1 ‘‘‘
 2 在网站中，http请求是无状态的。即使是第一次请求和服务器连接并且登录成功后，第二次请求服务器依然不知道当前请求是哪个用户
 3 cookie的出现就是为了解决这个问题，第一次登录后服务器返回一些数据（cookie）给浏览器，然后浏览器保存在本地，当用户发送第二次请求的时候
 4 ，就会把上次请求存储的cookie数据自动的携带给服务器，服务器通过浏览器携带的数据就能判断当前用户是哪一个了，cookie存储的数据有限
 5 不同的浏览器有不同的存储大小，但一般不超过4kb，因此使用cookie只能存储一些小量的数据集
 6 ‘‘‘
 7 from urllib import request
 8 url = ‘http://www.renren.com/880151247/profile‘
 9 header = {
10     "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/63.0.3239.132 Safari/537.36",
11     "Cookie":"anonymid=k4zsbvoygfjodm; depovince=GW; _r01_=1; JSESSIONID=abcKJmXBv8wp5hj07uX9w; ick_login=3e23d33e-2a1f-41de-b34e-012c899f6364; t=348887651664a84b83898ad687ba5b699; societyguester=348887651664a84b83898ad687ba5b699; id=973339459; xnsid=8eabdf62; jebecookies=975ced4d-c406-409b-94b2-9c0d7dddb9cd|||||; ver=7.0; loginfrom=null; jebe_key=d740e568-0917-48ee-a456-b2ce647012e1%7Cb26b13bc3816d83a2dac22a028f0e8e9%7C1578154341163%7C1%7C1578154338765; jebe_key=d740e568-0917-48ee-a456-b2ce647012e1%7Cb26b13bc3816d83a2dac22a028f0e8e9%7C1578154341163%7C1%7C1578154338767; wp_fold=0"
12 }
13 req = request.Request(url,headers=header)
14 resp = request.urlopen(req)
15 print(resp.readlines(5))