爬虫之cookiejar模块
Posted while True:just do it
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫之cookiejar模块相关的知识,希望对你有一定的参考价值。
简介
有时候我们需要爬一些需要登录才能进入网页,这个时候就要用到cookie相关的一些模块来操作了
内置的http包里包含了cookie相关的一些模块,通过她们我们可以自动使用cookie
- CookieJar
- 管理储存cookie,像传出的http请求添加cookie
- cookie存储在内存中,CookieJar示例回收后cookie将自动消失
- FileCookieJar
- 是CookieJar的字类
- cookie保存在文件中
- MozillaCookiejar
- 是FileCookieJar的子类
- 与moccilla浏览器兼容
- LwpCookieJar
- 是FileCookieJar的子类
- 与libwww-perl标准兼容
案例
访问登录后的人人网主页
from urllib import request,parse from http import cookiejar # 创建cookiejar实例对象 cookie = cookiejar.CookieJar() # 根据创建的cookie生成cookie的管理器 cookie_handle = request.HTTPCookieProcessor(cookie) # 创建http请求管理器 http_handle = request.HTTPHandler() # 创建https管理器 https_handle = request.HTTPSHandler() # 创建求求管理器,将上面3个管理器作为参数属性 # 有了opener,就可以替代urlopen来获取请求了 opener = request.build_opener(cookie_handle,http_handle,https_handle) def login(): ‘‘‘ 负责初次登录 需要传递用户名和密码,来获取登录的cookie凭证 ‘‘‘ # 登录url,需要从登录form的action属性中获取 url = ‘http://www.renren.com/PLogin.do‘ # 登录所需要的数据,数据为字典形式, # 此键值需要从form扁担中对应的input的name属性中获取 data = { ‘email‘:‘[email protected]‘, ‘password‘:‘123456‘ } # 将数据解析成urlencode格式 data = parse.urlencode(data) req = request.Request(url,data=data) # 正常是用request.urlopen(),这里用opener.open()发起请求 response = opener.open(req) def getHomePage(): ‘‘‘ 获取登录后的页面 ‘‘‘ # 此url是登录后的链接地址 url = ‘http://www.renren.com/965187997/profile‘ # 如果已经执行了上面的login函数, # 那么此时的opener已经是包含了cookie信息的一个opener对象 res = opener.open(url) html = res.read().decode() with open(‘renren.html‘,‘w‘) as f: f.write(html) if __name__ == ‘__main__‘: ‘‘‘ 依次执行上面两个函数 ‘‘‘ login() getHomePage()
以上是关于爬虫之cookiejar模块的主要内容,如果未能解决你的问题,请参考以下文章