python 携带cookie获取页面内容

Posted 懒企鹅

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python 携带cookie获取页面内容相关的知识,希望对你有一定的参考价值。

有时会遇到爬取的页面需要登录,这就要带上cookie了。

下面记录了几种携带cookie的方法

# coding=utf-8
import requests

s = requests.Session()
login_data = {\'username\': \'teacher\', \'password\': \'teacher\'}
# 方法1
# resp1 = s.post(\'http://192.168.2.132/login/\', data=login_data)
# r = s.get(\'http://192.168.2.132/personal_live/\')

# 方法2
# resp1 = requests.post(\'http://192.168.2.132/login/\', data=login_data)
# print(\'cookie:\' + str(resp1.cookies))
# r = requests.get(\'http://192.168.2.132/personal_live/\', cookies=resp1.cookies)

# 方法3
# c = {\'sessionid\': \'3ps7ouyox1l43alcb7rafxg9dtfnurcb\'}
# r = requests.get(\'http://192.168.2.132/personal_live/\', cookies=c)

c = {
    \'.CNBlogsCookie\': \'D020D...07\',
    \'.Cnblogs.AspNetCore.Cookies\': \'CfDJ...WA\',
    \'SyntaxHighlighter\': \'java\',
    \'SERVERID\': \'560...34\'

}
r = requests.get(\'https://i.cnblogs.com/EditPosts.aspx?opt=1\', cookies=c)

resp = r.text
print(resp)

方法1是利用同一个Session,先登录,再访问有限制页面。

方法2是直接使用requests,和1一样,同样是先登录,获取cookie,携带cookie访问限制页面。

方法3是手动从浏览器获取cookie,再携带cookie访问限制页面。

优缺点:

1,2差不多,都是直接运行脚本就可以了,但是需要登录页面没有验证码一类的处理。

3可以应对各种网站,但是需要手动获取cookie。

以上是关于python 携带cookie获取页面内容的主要内容,如果未能解决你的问题,请参考以下文章

关于用python写的登陆程序,怎么获取cookie值并返回出来

关于用python写的登陆程序,怎么获取cookie值并返回出来

关于用python写的登陆程序,怎么获取cookie值并返回出来

常用python日期日志获取内容循环的代码片段

python 模拟带cookie的put 请求,返回500怎么解决?

浅析python中cookie写入和读取