python 携带cookie获取页面内容
Posted 懒企鹅
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python 携带cookie获取页面内容相关的知识,希望对你有一定的参考价值。
有时会遇到爬取的页面需要登录,这就要带上cookie了。
下面记录了几种携带cookie的方法
# coding=utf-8 import requests s = requests.Session() login_data = {\'username\': \'teacher\', \'password\': \'teacher\'} # 方法1 # resp1 = s.post(\'http://192.168.2.132/login/\', data=login_data) # r = s.get(\'http://192.168.2.132/personal_live/\') # 方法2 # resp1 = requests.post(\'http://192.168.2.132/login/\', data=login_data) # print(\'cookie:\' + str(resp1.cookies)) # r = requests.get(\'http://192.168.2.132/personal_live/\', cookies=resp1.cookies) # 方法3 # c = {\'sessionid\': \'3ps7ouyox1l43alcb7rafxg9dtfnurcb\'} # r = requests.get(\'http://192.168.2.132/personal_live/\', cookies=c) c = { \'.CNBlogsCookie\': \'D020D...07\', \'.Cnblogs.AspNetCore.Cookies\': \'CfDJ...WA\', \'SyntaxHighlighter\': \'java\', \'SERVERID\': \'560...34\' } r = requests.get(\'https://i.cnblogs.com/EditPosts.aspx?opt=1\', cookies=c) resp = r.text print(resp)
方法1是利用同一个Session,先登录,再访问有限制页面。
方法2是直接使用requests,和1一样,同样是先登录,获取cookie,携带cookie访问限制页面。
方法3是手动从浏览器获取cookie,再携带cookie访问限制页面。
优缺点:
1,2差不多,都是直接运行脚本就可以了,但是需要登录页面没有验证码一类的处理。
3可以应对各种网站,但是需要手动获取cookie。
以上是关于python 携带cookie获取页面内容的主要内容,如果未能解决你的问题,请参考以下文章
关于用python写的登陆程序,怎么获取cookie值并返回出来
关于用python写的登陆程序,怎么获取cookie值并返回出来
关于用python写的登陆程序,怎么获取cookie值并返回出来