python爬虫之Cookie

Posted FRESHMANS

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python爬虫之Cookie相关的知识,希望对你有一定的参考价值。

由于http协议是无状态协议(假如登录成功,当访问该网站的其他网页时,登录状态消失),此时,需要将会话信息保存起来,通过cookie或者session的方式

cookie

  将所有的回话信息保存在客户端

session    

  将会话信息保存在服务端,但是服务端给客户端发的sessionid信息会保存在客户端的cookie里

 

Cookie 实战

 

python3.x   

  Cookiejar

 

python2.x

  Cookielib

 

实例演示:

    

技术分享图片
#!/usr/bin/env python
#-*-coding:utf-8-*-

import  urllib.request
import urllib.parse
import http.cookiejar


url = "http://bbs.chinaunix.net/member.php?mod=logging&action=login&loginsubmit=yes&loginhash=LUPvX"

postdata = urllib.parse.urlencode({"username":"weisuen","password":"aA123456"}).encode(utf-8)        #使用urlencode处理,在设置为utf-8编码

req = urllib.request.Request(url,postdata)        #构建request对象

req.add_header("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3107.4 Safari/537.36")

data = urllib.request.urlopen(req).read() #登陆并爬取网页



url2 = "http://bbs.chinaunix.net/"

req2 = urllib.request.Request(url2,postdata)

req2.add_header("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3107.4 Safari/537.36")

data2 = urllib.request.urlopen(req2).read()

#写入到文件
with open(1.html,wb) as one, open(2.html,wb) as two:
    one.write(data)
    two.write(data2)
未设置cookie登陆网站

 

 

 

思路:

  A、导入Cookie处理模块http.cookiejar

  B、使用http.cookiejar.CookieJar()创建CookieJar对象

  C、使用HTTPCookieProcessor创建cookie处理器,并以其为参数构建opener对象

  D、创建全局默认的opener对象

  

  

 

以上是关于python爬虫之Cookie的主要内容,如果未能解决你的问题,请参考以下文章

python爬虫之Cookie

爬虫案例之网易有道翻译Python代码改写

Python爬虫入门之Cookie的使用

20170717_python爬虫之requests+cookie模拟登陆

Python爬虫之urllib模拟登录及cookie的那点事

Python爬虫之cookie的获取保存和使用新手必学