小总结1
Posted auraro997
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了小总结1相关的知识，希望对你有一定的参考价值。
一、爬虫基本原理
-爬虫全过程
1.发送请求
2.接收响应数据
3.解析并提取有价值的数据
4.保存数据
二、Requests请求库
-get
url
headers
cookies
- post
url
headers
cookies
data
三、爬取校花网视频
1.通过主页解析提取详情页
2.通过详情页提取视频url
3.获取视频的二进制流写入本地
四、自动登录github
1.分析请求头与请求体信息
-用户名
-密码
-token
-杂七杂八
2.token
-通过对log in页面的解析提取
3.对session_ url发送请求
- headers:
-user-agent
- cookies:
-login页面的cookies
-data:
-form_ data
以上是关于小总结1的主要内容，如果未能解决你的问题，请参考以下文章