http和https

Posted 2022-11-27 talosant

HTTP协议(HyperText Transfer Protocol，超文本传输协议)：是一种发布和接收 html页面的方法，是规范，买卖东西一样。

HTTPS (Hypertext Transfer Protocol over Secure Socket Layer)简单讲是http的安全版，在http下加入SSL层。

HTTPS 的安全基础是SSL ， 因此通过它传输的内容都是经过SSL 加密的， 它的主要作用可以分为两种：

（1）建立一个信息安全通道来保证数据传输的安全。

（2）确认网站的真实性， 凡是使用了HTTP 的网站， 都可以通过点击浏览器地址栏的锁头标志来

查看网站认证之后的真实信息， 也可以通过CA 机构颁发的安全签章来查询。

SSL(Secure Sockets Layer 安全套接层)主要用于Web的安全传输协议，在传输层对网络连接进行加密，保障在Internet上数据传输的安全。

http的端口号为80，

https的端口号为443

 

---

 

（一）http工作原理

  网络爬虫抓取过程可以理解为模拟浏览器操作的过程。浏览器的主要功能是向服务器发出请求，在浏览器窗口中展示您选择的网络资源，

http是一套计算机通过网络进行通信的规则。

HTTP工作过程      

一次HTTP操作称为一个事务，其工作整个过程如下：

1、地址解析

  如用客户端浏览器请求这个页面：http://localhost.com:8080/index.htm，从中分解出协议名、主机名、端口、对象路径等部分，

对于我们的这个地址，解析得到的结果如下：
    协议名：http
    主机名：localhost.com
    端口：8080
    对象路径：/index.htm

在这一步，需要域名系统DNS解析域名localhost.com,得主机的IP地址。

2、封装HTTP请求数据包

  把以上部分结合本机自己的信息，封装成一个HTTP请求数据包

3、封装成TCP包，建立TCP连接（TCP的三次握手）

TCP握手协议 

  第一次握手：建立连接时,客户端发送syn包(syn=j)到服务器,并进入SYN_SEND状态,等待服务器确认；
SYN：同步序列编号(Synchronize Sequence Numbers)
    第二次握手：服务器收到syn包,必须确认客户的SYN（ack=j+1）,同时自己也发送一个SYN包（syn=k）,

即SYN+ACK包,此时服务器进入SYN_RECV状态；
    第三次握手：客户端收到服务器的SYN＋ACK包,向服务器发送确认包ACK(ack=k+1),此包发送完毕,

客户端和服务器进入ESTABLISHED状态,完成三次握手。完成三次握手,客户端与服务器开始传送数据

4、客户机发送请求命令

  建立连接后，客户机发送一个请求给服务器，请求方式的格式为：统一资源标识符（URI：Uniform Resource Identifier）、

协议版本号，后边是MIME信息包括请求修饰符、客户机信息和可能的内容。

5、服务器响应

服务器接到请求后，给予相应的响应信息，其格式为一个状态行，包括信息的协议版本号、一个成功或错误的代码，

后边是MIME信息包括服务器信息、实体信息和可能的内容。

实体消息是服务器向浏览器发送头信息后，它会发送一个空白行来表示头信息的发送到此结束，接着，

它就以Content-Type应答头信息所描述的格式发送用户所请求的实际数据

6、服务器关闭TCP连接

一般情况下，一旦Web服务器向浏览器发送了请求数据，它就要关闭TCP连接，然后如果浏览器或者服务器在其头信息加入了：

Connection:keep-alive，TCP连接在发送后将仍然保持打开状态，于是，浏览器可以继续通过相同的连接发送请求。

保持连接节省了为每个请求建立新连接所需的时间，还节约了网络带宽。

 

（二）https的请求与响应

 

http通信由两部分组成：客户端请求消息 与 服务器响应消息

 

（三）浏览器http请求

 

1) 当用户在浏览器的地址栏中输入一个URL并按回车键之后，浏览器会向http服务器发送http请求。http请求主要分为“Get”和“Post”两种方法。

2) 当我们在浏览器输入URL http://www.baidu.com 的时候，浏览器发送一个Request请求去获取 http://www.baidu.com 的html文件，

服务器把Response文件对象发送回给浏览器。

3) 浏览器分析Response中的 HTML，发现其中引用了很多其他文件，比如Images文件，CSS文件，JS文件。

浏览器会自动再次发送Request去获取图片，CSS文件，或者JS文件。

4)当所有的文件都下载成功后，网页会根据HTML语法结构，完整的显示出来了。

 

URL(Uniform / Universal Resource Locator的缩写)：统一资源定位符，是用于完整地描 述Internet上网页和其他资源的地址的一种标识方法。

基本格式：scheme://host[:port#]/path/…/[?query-string][#anchor]

• scheme：协议(例如：http， http， ftp)
• host：服务器的IP地址或者域名
• port：服务器的端口(如果是走协议默认端口，缺省端口80)
• path：访问资源的路径
  • query-string：参数，发送给http服务器的数据
  • anchor：锚(跳转到网页的指定锚点位置)

例如：

• ftp://192.168.0.116:8080/index
• http://www.baidu.com
• http://item.jd.com/11936238.html#product-detail

（四）客户端http请求

URL只是标识资源的位置，而http是用来提交和获取资源。客户端发送一个http请求到服务器的请求消息，

包括以下格式：请求行、请求头部、空行、请求数据四个部分组成，下图给出了请求报文的一般格式。

（五）请求方法

GET http://www.baidu.com/ http/1.1

根据http标准，http请求可以使用多种请求方法。

http 0.9：只有基本的文本 GET 功能。

http 1.0：完善的请求/响应模型，并将协议补充完整，定义了三种请求方法： GET， POST 和 HEAD方法。

http 1.1：在 1.0 基础上进行更新，新增了五种请求方法：OPTIONS， PUT， DELETE， TRACE 和 CONNECT 方法。

http 2.0(未普及)：请求/响应首部的定义基本没有改变，只是所有首部键必须全部小写，而且请求行要独立为 :method、:scheme、:host、:path这些键值对。