urllib的实现---cookie处理

Posted 成长日记

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了urllib的实现---cookie处理相关的知识,希望对你有一定的参考价值。

Cookie的使用

用 Python 来登录网站, 用Cookies记录登录信息, 然后就可以抓取登录之后才能看到的信息。

什么是cookies?

Cookie,指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据(通常经过加密)。
比如说有些网站需要登录后才能访问某个页面,在登录之前,你想抓取某个页面内容是不允许的。那么我们可以利用Urllib库保存我们登录的Cookie,然后再抓取其他页面就达到目的了。
opener的概念
当你获取一个URL你使用一个opener(一个urllib2.OpenerDirector的实例)。在前面,我们都是使用的默认的opener,也就是urlopen。

urlopen是一个特殊的opener,可以理解成opener的一个特殊实例,传入的参数仅仅是url,data,timeout。
如果我们需要用到Cookie,只用这个opener是不能达到目的的,所以我们需要创建更一般的opener来实现对Cookie的设置。
Cookielib
cookielib模块的主要作用是提供可存储cookie的对象,以便于与urllib2模块配合使用来访问Internet资源。Cookielib模块非常强大,我们可以利用本模块的CookieJar类的对象来捕获cookie并在后续连接请求时重新发送,比如可以实现模拟登录功能。该模块主要的对象有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。
它们的关系:CookieJar —-派生—->FileCookieJar  —-派生—–>MozillaCookieJar和LWPCookieJar

使用cookie登录的步骤
1)获取Cookie保存到变量

import urllib.request
import http.cookiejar

URL_ROOT = r‘http://d.weibo.com/‘

cookie = http.cookiejar.CookieJar()  # 声明一个CookieJar对象实例来保存cookie
handler = urllib.request.HTTPCookieProcessor(cookie)  # 利用urllib2库的HTTPCookieProcessor对象来创建cookie处理器
opener = urllib.request.build_opener(handler)  # 通过handler来构建opener

response = opener.open(URL_ROOT)  # 此处的open方法同urllib2的urlopen方法,也可以传入request

for item in cookie:
    print(‘Name = ‘ + item.name)
    print(‘Value = ‘ + item.value)

我们使用以上方法将cookie保存到变量中,然后打印出了cookie中的值,运行结果如下
Name = YF-Page-G0

Value = dc8d8d4964cd93a7c3bfa7640c1bd10c

Note:py3中opener也可以这样使用:

request = urllib.request.Request(URL_ROOT, postdata, headers)
response = opener.open(request)

或者:

urllib.request.install_opener(opener)
request = urllib.request.Request(URL_ROOT, postdata, headers)
response = urllib.request.urlopen(request)
2)保存Cookie到文件
上面我们将cookie保存到了cookie这个变量中,如果我们想将cookie保存到文件中该怎么做呢?
这时,我们就要用到FileCookieJar这个对象了,在这里我们使用它的子类MozillaCookieJar来实现Cookie的保存

 

import urllib.request, urllib.parse, urllib.error
import http.cookiejar

URL_ROOT = ‘http://www.jobbole.com/login/‘
values = {‘name‘: ‘******‘, ‘password‘: ‘******‘}
postdata = urllib.parse.urlencode(values).encode()
user_agent = r‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/44.0.2403.157 Safari/537.36‘
headers = {‘User-Agent‘: user_agent}

cookie_filename = ‘cookie.txt‘
cookie = http.cookiejar.LWPCookieJar(cookie_filename)
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)

request = urllib.request.Request(URL_ROOT, postdata, headers)
try:
    response = opener.open(request)
except urllib.error.URLError as e:
    print(e.reason)

cookie.save(ignore_discard=True, ignore_expires=True)  # 保存cookie到cookie.txt中
for item in cookie:
    print(‘Name = ‘ + item.name)
    print(‘Value = ‘ + item.value)

 

Note

1. 不同cookie写入文件方法的解释:

FileCookieJar(filename):创建FileCookieJar实例,检索cookie信息并将信息存储到文件中,filename是文件名。

MozillaCookieJar(filename):创建与Mozilla cookies.txt文件兼容的FileCookieJar实例。

LWPCookieJar(filename):创建与libwww-perl Set-Cookie3文件兼容的FileCookieJar实例。

2. save方法的两个参数的官方解释:

ignore_discard: save even cookies set to be discarded. 即使cookies将被丢弃也将它保存下来

ignore_expires: save even cookies that have expiredThe file is overwritten if it already exists.如果在该文件中cookies已经存在,则覆盖原文件写入

3. python3中如果直接使用http.cookiejar.CookieJar(filename)的方式会出错:self._policy._now = self._now = int(time.time()) AttributeError: ‘str‘ object has no attribute ‘_now‘。注意要将CookieJar改为LWPCookieJar。

3)从文件中获取Cookie并访问
那么我们已经做到把Cookie保存到文件中了,如果以后想使用,可以利用下面的方法来读取cookie并访问网站,感受一下

import urllib.request
import urllib.parse
import urllib.error
import http.cookiejar

cookie_filename = ‘cookie_jar.txt‘
cookie = http.cookiejar.MozillaCookieJar(cookie_filename)
cookie.load(cookie_filename, ignore_discard=True, ignore_expires=True)
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)

get_url = ‘http://www.jobbole.com/‘  # 利用cookie请求访问另一个网址
get_request = urllib.request.Request(get_url)
get_response = opener.open(get_request)
print(get_response.read().decode())

 

http://blog.csdn.net/pipisorry/article/details/47905781

以上是关于urllib的实现---cookie处理的主要内容,如果未能解决你的问题,请参考以下文章

Python 对cookies的处理——urllib2

urllib库利用cookie实现模拟登录慕课网

Urllib库基本使用详解(爬虫,urlopen,request,代理ip的使用,cookie解析,异常处理,URL深入解析)

请求处理Cookie的web

在 Selenium 中使用 urllib2 cookie

python3爬虫之Urllib库