爬虫之cookiejar模块

Posted while True:just do it

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫之cookiejar模块相关的知识,希望对你有一定的参考价值。

简介

有时候我们需要爬一些需要登录才能进入网页,这个时候就要用到cookie相关的一些模块来操作了

内置的http包里包含了cookie相关的一些模块,通过她们我们可以自动使用cookie

  • CookieJar
    • 管理储存cookie,像传出的http请求添加cookie
    • cookie存储在内存中,CookieJar示例回收后cookie将自动消失
  • FileCookieJar
    • 是CookieJar的字类
    • cookie保存在文件中
  • MozillaCookiejar
    • 是FileCookieJar的子类
    • 与moccilla浏览器兼容
  • LwpCookieJar
    • 是FileCookieJar的子类
    • 与libwww-perl标准兼容

 

案例

访问登录后的人人网主页

from urllib import request,parse
from http import cookiejar

# 创建cookiejar实例对象
cookie = cookiejar.CookieJar()

# 根据创建的cookie生成cookie的管理器
cookie_handle = request.HTTPCookieProcessor(cookie)

# 创建http请求管理器
http_handle = request.HTTPHandler()

# 创建https管理器
https_handle = request.HTTPSHandler()

# 创建求求管理器,将上面3个管理器作为参数属性
# 有了opener,就可以替代urlopen来获取请求了
opener =  request.build_opener(cookie_handle,http_handle,https_handle)

def login():
    ‘‘‘
    负责初次登录
    需要传递用户名和密码,来获取登录的cookie凭证
    ‘‘‘
    # 登录url,需要从登录form的action属性中获取
    url = ‘http://www.renren.com/PLogin.do‘

    # 登录所需要的数据,数据为字典形式,
    # 此键值需要从form扁担中对应的input的name属性中获取
    data = {
        ‘email‘:‘[email protected]‘,
        ‘password‘:‘123456‘
    }

    # 将数据解析成urlencode格式
    data = parse.urlencode(data)

    req = request.Request(url,data=data)

    # 正常是用request.urlopen(),这里用opener.open()发起请求
    response = opener.open(req)


def getHomePage():
    ‘‘‘
    获取登录后的页面
    ‘‘‘

    # 此url是登录后的链接地址
    url = ‘http://www.renren.com/965187997/profile‘

    # 如果已经执行了上面的login函数,
    # 那么此时的opener已经是包含了cookie信息的一个opener对象
    res = opener.open(url)

    html = res.read().decode()

    with open(‘renren.html‘,‘w‘) as f:
        f.write(html)


if __name__ == ‘__main__‘:
    ‘‘‘
    依次执行上面两个函数
    ‘‘‘
    login()
    getHomePage()

  

以上是关于爬虫之cookiejar模块的主要内容,如果未能解决你的问题,请参考以下文章

爬虫之requests

爬虫之FileCookieJar

爬虫 -requests

第六节 爬虫用密码登录自动获取cookie

python爬虫 mozillacookiejar

Python3 cookiejar模块详解