爬虫基础知识一

Posted -chenxs

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫基础知识一相关的知识,希望对你有一定的参考价值。

认识HTTP、HTTPS

1.http:超文本传输协议

  • 以明文的形式传输
  • 效率更高,但是不安全

2.https:http+ssl(安全套接字层)

  • 传输之前数据先加密,之后解密获取内容
  • 效率低,但是安全

3.get请求和post请求的区别

  • get请求没有请求体,post有,get请求把数据放到url地址中;
  • post请求常用于登录注册,保密;
  • post请求携带的数据比get请求大、多,常用于传输大文本的时候。

4.http协议之请求

  • 1.请求行
    GET /8hr/page/1/ HTTP/1.1
  • 2.请求体
    • User-Agent:用户代理:对方服务器能够通过user_agent知道当前请求对方资源的是什么浏览器
      • 如果我们需要模拟手机版的浏览器发送请求,对应的就需要把user-agent改成手机版
    • Cookie:用户存储用户信息的,每次请求会被携带上发送给对方的浏览器
      • 要获取登录后才能访问的页面
      • 对方的服务器会通过cookie来判断我们是一个爬虫
    • Referer:当前网页的由来,一般是上一级url
  • 3.请求体
    • 携带数据
    • get请求没有
    • post请求有    

5.http协议之响应

  • 1.响应头
    • Set-Cookie:对方服务器通过该字段设置cookie到本地
  • 2.响应体
    • url地址对应的响应

 

以上是关于爬虫基础知识一的主要内容,如果未能解决你的问题,请参考以下文章

如何入门爬虫(基础篇)

网络爬虫基础一

爬虫基础知识一

爬虫基础一

爬虫基础知识(陆)

python基础 爬虫项目都有哪些?