爬虫基础知识一

Posted 2022-08-30 -chenxs

认识HTTP、HTTPS

1.http:超文本传输协议

• 以明文的形式传输
• 效率更高，但是不安全

2.https:http+ssl（安全套接字层）

• 传输之前数据先加密，之后解密获取内容
• 效率低，但是安全

3.get请求和post请求的区别

• get请求没有请求体，post有，get请求把数据放到url地址中；
• post请求常用于登录注册，保密；
• post请求携带的数据比get请求大、多，常用于传输大文本的时候。

4.http协议之请求

• 1.请求行

  GET /8hr/page/1/ HTTP/1.1

• 2.请求体
  • User-Agent:用户代理：对方服务器能够通过user_agent知道当前请求对方资源的是什么浏览器
    • 如果我们需要模拟手机版的浏览器发送请求，对应的就需要把user-agent改成手机版
  • Cookie：用户存储用户信息的，每次请求会被携带上发送给对方的浏览器
    • 要获取登录后才能访问的页面
    • 对方的服务器会通过cookie来判断我们是一个爬虫
  • Referer:当前网页的由来，一般是上一级url
• 3.请求体
  • 携带数据
  • get请求没有
  • post请求有　　　　

5.http协议之响应

• 1.响应头
  • Set-Cookie：对方服务器通过该字段设置cookie到本地
• 2.响应体
  • url地址对应的响应