第五节 IP代理和cookie

Posted kogmaw

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了第五节 IP代理和cookie相关的知识,希望对你有一定的参考价值。

 1 import urllib.request
 2 url1 = https://www.baidu.com
 3 
 4 
 5 #http://www.httpbin.org 这个网站可以课程方便的查看http请求的一些参数
 6 # 快代理
 7 #创建一个代理IP,传入的值是一个字典,键是http或者https ,值是IP:端口号,.Proxy代理,Handler组织者,顾问
 8 handler = urllib.request.ProxyHandler({http:114.226.162.29:9999})
 9 opener = urllib.request.build_opener(handler)
10 resp = opener.open(url1)
11 print(resp.readline())
 1 ‘‘‘
 2 在网站中,http请求是无状态的。即使是第一次请求和服务器连接并且登录成功后,第二次请求服务器依然不知道当前请求是哪个用户
 3 cookie的出现就是为了解决这个问题,第一次登录后服务器返回一些数据(cookie)给浏览器,然后浏览器保存在本地,当用户发送第二次请求的时候
 4 ,就会把上次请求存储的cookie数据自动的携带给服务器,服务器通过浏览器携带的数据就能判断当前用户是哪一个了,cookie存储的数据有限
 5 不同的浏览器有不同的存储大小,但一般不超过4kb,因此使用cookie只能存储一些小量的数据集
 6 ‘‘‘
 7 from urllib import request
 8 url = http://www.renren.com/880151247/profile
 9 header = {
10     "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/63.0.3239.132 Safari/537.36",
11     "Cookie":"anonymid=k4zsbvoygfjodm; depovince=GW; _r01_=1; JSESSIONID=abcKJmXBv8wp5hj07uX9w; ick_login=3e23d33e-2a1f-41de-b34e-012c899f6364; t=348887651664a84b83898ad687ba5b699; societyguester=348887651664a84b83898ad687ba5b699; id=973339459; xnsid=8eabdf62; jebecookies=975ced4d-c406-409b-94b2-9c0d7dddb9cd|||||; ver=7.0; loginfrom=null; jebe_key=d740e568-0917-48ee-a456-b2ce647012e1%7Cb26b13bc3816d83a2dac22a028f0e8e9%7C1578154341163%7C1%7C1578154338765; jebe_key=d740e568-0917-48ee-a456-b2ce647012e1%7Cb26b13bc3816d83a2dac22a028f0e8e9%7C1578154341163%7C1%7C1578154338767; wp_fold=0"
12 }
13 req = request.Request(url,headers=header)
14 resp = request.urlopen(req)
15 print(resp.readlines(5))

 

以上是关于第五节 IP代理和cookie的主要内容,如果未能解决你的问题,请参考以下文章

爬虫第五节 代理服务器设置

第五节:JQuery框架源码简析

第五节:JQuery框架源码简析

Linux内核第五节 20135332武西垚

软件构造 第七章第五节 测试

《Nuitka打包实战指南》第五节 深入理解单文件打包模式