网络https协议

Posted 华丞臧.

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了网络https协议相关的知识,希望对你有一定的参考价值。

🥁作者 华丞臧.
📕​​​​专栏【网络】
各位读者老爷如果觉得博主写的不错,请诸位多多支持(点赞+收藏+关注)。如果有错误的地方,欢迎在评论区指出。
推荐一款刷题网站 👉 LeetCode刷题网站


文章目录


前言

http是超文本传输协议,以明文方式传输,在数据传输的过程存在很大的安全隐患,数据容易被第三方攻击截获并且篡改,因此目前主流都会在http与tcp之间(还在应用层)使用SSL/TLS进行加密。

一、https

1.1 什么是https

我们将包含http以及加密层(SSL/TLS)称为https。

加密和解密

  • 加密就是把明文(要传输的信息)进行一系列变换,生成密文。
  • 解密就是把密文进行一系列变换还原成明文。
  • 在加密和解密的过程中,往往需要一个或者多个中间数据,辅助进行这个过程,这样的数据称为密钥

加密解密到如今已经发展成⼀个独⽴的学科:密码学。⽽密码学的奠基⼈,也正是计算机科学的祖师爷之⼀,艾伦·⻨席森·图灵。

为什么需要加密?

  • 所有的加密都是为了防止有中间人进行窃取和篡改。
  • 因为http的内容是明⽂传输的,明⽂数据会经过路由器、wifi热点、通信服务运营商、代理服务器等多个物理节点,如果信息在传输过程中被劫持,传输的内容就完全暴露了。劫持者还可以篡改传输的信息且不被双⽅察觉,这就是 中间⼈攻击 ,所以我们才需要对信息进⾏加密。

运营商劫持:相信很多人都碰到过,尤其是在手机非常普及的现在,通常很多时候我们使用浏览器去下载某一个软件,比如手机上的app,点击下载按钮就会弹出应用宝的下载链接(之前经常遇到过特别恶心人),使用QQ点击某个链接就会弹出下载QQ浏览器的链接。
由于我们通过⽹络传输的任何的数据包都会经过运营商的⽹络设备(路由器, 交换机等), 那么运营商的⽹络设备就可以解析出你传输的数据内容, 并进⾏篡改.
点击 “下载按钮”, 其实就是在给服务器发送了⼀个 HTTP 请求, 获取到的 HTTP 响应其实就包含了该APP 的下载链接. 运营商劫持之后, 就发现这个请求是要下载天天动听, 那么就⾃动的把交给⽤⼾的响应给篡改成 “QQ浏览器” 的下载地址了.


在互联⽹上, 明⽂传输是⽐较危险的事情!!!
HTTPS 就是在 HTTP 的基础上进⾏了加密, 进⼀步的来保证⽤⼾的信息安全。

二、常见的加密方式

2.1 对称加密

  • 采⽤单钥密码系统的加密⽅法,同⼀个密钥可以同时⽤作信息的加密和解密,这种加密⽅法称为对称加密,也称为单密钥加密,特征:加密和解密所⽤的密钥是相同的
  • 常⻅对称加密算法(了解):DES、3DES、AES、TDEA、Blowfish、RC2等。
  • 特点:算法公开、计算量⼩、加密速度快、加密效率⾼。

对称加密就是通过同一个“密钥”,把明文加密成密文,并且也能把密文解密成明文,即使用同一个密钥进行加密和解密。

2.2 非对称加密

  • 需要两个密钥来进⾏加密和解密,这两个密钥是公开密钥(public key,简称公钥)和私有密钥(private key,简称私钥)。
  • 常⻅⾮对称加密算法(了解):RSA,DSA,ECDSA。
  • 特点:算法强度复杂、安全性依赖于算法与密钥,但是由于其算法复杂⽽使得加密解密速度没有对称加密解密的速度快。

⾮对称加密要⽤到两个密钥, ⼀个叫做 “公钥”, ⼀个叫做 “私钥”,而一般使用时一个公开另一个私密。
公钥和私钥是配对的. 最⼤的缺点就是运算速度⾮常慢⽐对称加密要慢很多

  • 通过公钥对明⽂加密, 变成密⽂
  • 通过私钥对密⽂解密, 变成明⽂

也可以反着⽤:

  • 通过私钥对明⽂加密, 变成密⽂
  • 通过公钥对密⽂解密, 变成明⽂

⾮对称加密的数学原理⽐较复杂,涉及到⼀些 数论相关的知识,这⾥举⼀个简单的⽣活上的例⼦,如下:

A 要给 B ⼀些重要的⽂件,但是 B 可能不在。
于是 A 和 B 提前做出约定:
B 说:我桌⼦上有个盒⼦,然后我给你⼀把锁,你把⽂件放盒⼦⾥⽤锁锁上,然后我回头拿着钥匙来开锁取⽂件。
在这个场景中,这把锁就相当于公钥,钥匙就是私钥。公钥给谁都⾏(不怕泄露),但是私钥只有 B ⾃⼰持有,持有私钥的⼈才能解密。第三方想要拿到文件只有两种方法:一. 从B中抢来私钥;二. 破坏盒子或者锁;这两种方法无论那种都会被A和B发现。

三、数据摘要(数据指纹)

  • 数字指纹(数据摘要),其基本原理是利⽤ 单向散列函数(Hash函数) 对信息进⾏运算,⽣成⼀串固定⻓度的数字摘要。数字指纹并不是⼀种加密机制,但可以⽤来判断数据有没有被窜改。
  • 摘要常⻅算法:有MD5、SHA1、SHA256、SHA512等,算法把⽆限的映射成有限,因此可能会有碰撞(两个不同的信息,算出的摘要相同,但是概率⾮常低)。
  • 摘要特征:和加密算法的区别是,摘要严格意义不是加密,因为没有解密,只不过从摘要很难反推原信息(基本上不可能反推),通常⽤来进⾏数据对⽐。

四、数字签名

  • 摘要经过加密,就得到数字签名。
  • 不同的算法得到的数字签名长度可能不同,如MD5就有16字节版本和32字节版本。

五、实现https的方案探究

既然要保证数据安全,就需要进⾏ 加密。⽹络传输中不能直接传输明⽂, ⽽是加密之后的 “密⽂”。加密的⽅式有很多,但是整体可以分成两⼤类:对称加密 和 ⾮对称加密。

5.1 方案一:只使用对称加密

通信双方都各自持有同一个密钥X,且没有第三方知道,这两方的通信安全当然是可以被保证的,除非密钥被破解。引入对称密钥后即使数据被截获,由于黑客不知道密钥,因此无法进行解密,也就无法获取请求的数据了。


但是这里还存在一个问题,服务器同时给很多用户提供服务,这么多的用户不可能使用同一密钥,因此服务器就需要维护每个客户端和每个密钥之间的关联联系。但是客户端也需要知道密钥是什么,也就是说在通信双方协商密钥时,密钥通过什么方式传输呢?http?http肯定是不行的。

因为是明文传输黑客也能获得密钥,所以密钥的传输也需要加密传输,但是要想对密钥进⾏对称加密,就仍然需要先协商确定⼀个 “密钥的密钥”。这就成了 “先有鸡还是先有蛋” 的问题了,所以方案一行不通

5.2 方案二:只使用非对称加密

鉴于⾮对称加密的机制,如果服务器先把公钥以明⽂⽅式传输给浏览器,之后浏览器向服务器传数据前都先⽤这个公钥加密好再传,从客⼾端到服务器信道似乎是安全的(有安全问题),因为只有服务器有相应的私钥能解开公钥加密的数据。

但是服务器到浏览器的这条路怎么保障安全?
如果服务器⽤它的私钥加密数据传给浏览器,那么浏览器⽤公钥可以解密它,⽽这个公钥是⼀开始通过明⽂传输给浏览器的,若这个公钥被中间⼈劫持到了,那他也能⽤该公钥解密服务器传来的信息了。

5.3 方案三:双方都是用非对称加密

服务端拥有公钥S和对应的私钥S``,客户端有公钥C和对应的私钥C`。

  • 那么此时客⼾和服务端交换公钥;
  • 客⼾端给服务端发信息:先⽤S对数据加密,再发送,只能由服务器解密,因为只有服务器有私钥S’
  • 服务端给客⼾端发信息:先⽤C对数据加密,在发送,只能由客⼾端解密,因为只有客⼾端有私钥C’

这样貌似也⾏啊,但是还是存咋两个问题:

  1. 效率太低,非对称加密运算速度⾮常慢,在网络通信中是不允许的。
  2. 依旧有安全问题,详情前往下看。

5.4 方案四:非对称加密 + 对称加密

  • 服务端拥有非对称密钥公钥S和对应的私钥S`。
  • 客户端发起https请求,获取服务端公钥S;
  • 客户端在本地生成对称密钥C,通过公钥S加密,发送给服务器;
  • 由于中间的⽹络设备没有私钥, 即使截获了数据,也⽆法还原出内部的原⽂,也就⽆法获取到对称密钥;
  • 服务器通过私钥S’解密,还原出客⼾端发送的对称密钥C。并且使⽤这个对称密钥加密给客⼾端返回的响应数据。
  • 后续客⼾端和服务器的通信都只⽤对称加密即可。由于该密钥只有客⼾端和服务器两个主机知道,其他主机/设备不知道密钥即使截获数据也没有意义。

效率问题

由于对称加密的效率⽐⾮对称加密⾼很多, 因此只是在开始阶段协商密钥的时候使⽤⾮对称加密,后续的传输仍然使⽤对称加密。

安全问题

方案四依旧存在安全问题,方案二、方案三、方案四都存在同一个问题:如果最开始,中间人就已经开始攻击了呢?

5.5 中间人攻击 - 针对方案四的场景

  • Man-in-the-MiddleAttack,简称“MITM攻击

确实,在⽅案2/3/4中,客⼾端获取到公钥S之后,对客⼾端形成的对称秘钥X⽤服务端给客⼾端的公钥S进⾏加密,中间⼈即使窃取到了数据,此时中间⼈确实⽆法解出客⼾端形成的密钥X,因为只有服务器有私钥S’

但是中间⼈的攻击,如果在最开始握⼿协商的时候就进⾏了,那就不⼀定了,假设黑客已经成功成为中间⼈:

  1. 服务器具有⾮对称加密算法的公钥S,私钥S’;
  2. 中间⼈具有⾮对称加密算法的公钥M,私钥M’;
  3. 客⼾端向服务器发起请求,服务器明⽂传送公钥S给客⼾端;
  4. 中间⼈劫持数据报⽂,提取公钥S并保存好,然后将被劫持报⽂中的公钥S替换成为⾃⼰的公钥M,并将伪造报⽂发给客⼾端;
  5. 客⼾端收到报⽂,提取公钥M(⾃⼰当然不知道公钥被更换过了),⾃⼰形成对称秘钥C,⽤公钥M加密C,形成报⽂发送给服务器;
  6. 中间⼈劫持后,直接⽤⾃⼰的私钥M’进⾏解密,得到通信秘钥C,再⽤曾经保存的服务端公钥S加密后,将报⽂推送给服务器;
  7. 服务器拿到报⽂,⽤⾃⼰的私钥S’解密,得到通信秘钥C;
  8. 双⽅开始采⽤X进⾏对称加密,进⾏通信。但是⼀切都在中间⼈的掌握中,劫持数据,进⾏窃听甚⾄修改,都是可以的。

上⾯的攻击⽅案,同样适⽤于⽅案2,⽅案3。问题本质出在哪⾥了呢?本质都是客⼾端⽆法确定收到的含有公钥的数据报⽂,就是⽬标服务器发送过来的

引入证书 – CA证书

服务端在使⽤HTTPS前,需要向CA机构申领⼀份数字证书,数字证书⾥含有证书申请者信息、公钥信息等。服务器把证书传输给浏览器,浏览器从证书⾥获取公钥就⾏了,证书就如⾝份证,证明服务端公钥的权威性。

这个 证书 可以理解成是⼀个结构化的字符串, ⾥⾯包含了以下信息:

  • 证书发布机构
  • 证书有效期
  • 公钥
  • 证书所有者
  • … …

申请证书的时候,需要在特定平台生成一对密钥,即公钥和私钥,这对密钥就是用来在网络通信中进行明文加密以及数字签名的。其中公钥会随着CSR⽂件,⼀起发给CA进⾏权威认证,私钥服务端⾃⼰保留,⽤来后续进⾏通信(其实主要就是⽤来交换对称秘钥)。
可以使⽤在线⽣成CSR和私钥:https://myssl.com/csr_create.html
形成CSR之后,后续就是向CA进⾏申请认证,不过⼀般认证过程很繁琐,⽹络各种提供证书申请的服务商,⼀般真的需要,直接找平台解决就⾏。

理解数据签名

签名的形成是基于非对称加密算法的,不要和https中的公钥和私钥搞混了。

当服务器申请CA证书时,CA机构会对该服务端进行审核,并专门为该网站形成对应的数字签名,其过程如下:

  1. CA机构拥有非对称加密的公钥A和私钥A`;
  2. CA机构对服务端申请证书的明文进行hash,形成数据摘要;
  3. 然后CA机构使用私钥A`对数据摘要加密,等到数字签名S;
  4. 服务端申请的整数明文和数字签名S共同组成了数字证书,这样一份数字证书就可以颁发给服务端了。

那么服务端怎么验证证书是否有效呢,过程如下:

  1. 服务端拿到数字证书;
  2. 服务端对数字证书中的数据进行hash,形成数据摘要S`;
  3. 再使用CA机构的公钥A对数字证书中的签名进行解密,得到数据摘要S;
  4. 对比S`和S是否一致,一致则数字签名有效。

5.6 方案五:非对称加密 + 对称加密 + 证书认证

在客⼾端和服务器刚⼀建⽴连接的时候, 服务器给客⼾端返回⼀个 证书,证书包含了之前服务端的公钥,也包含了⽹站的⾝份信息。

客户端进行认证

当客⼾端获取到这个证书之后,会对证书进⾏校验(防⽌证书是伪造的)。

  • 判定证书的有效期是否过期。
  • 判定证书的发布机构是否受信任(操作系统中已内置的受信任的证书发布机构)。
  • 验证证书是否被篡改: 从系统中拿到该证书发布机构的公钥,对签名解密得到⼀个 hash 值(称为数据摘要),设为 hash1;然后计算整个证书的 hash 值,设为 hash2;对⽐ hash1 和 hash2 是否相等。如果相等,则说明证书是没有被篡改过的。

中间人可能篡改证书吗?

  • 首先客户端是会使用CA机构的公钥对证书中的签名进行解密的,如果中间人篡改了证书的明文,由于他没有CA机构的私钥,所以无法hash之后用私钥加密形成签名,所以中间人无法对篡改后的整数形成匹配的签名。
  • 如果强行篡改,客户端收到该证书后会发现明文和签名解密后的值不一致,说明证书已被篡改,证书不可信,从而终止向服务器传输信息,防止信息泄露给中间人。

中间人可能掉包整个证书吗?

  • 中间人不可能掉包整个证书,因为中间人没有CA私钥,所以无法制作假证书。
  • 中间⼈只能向CA申请真证书,然后⽤⾃⼰申请的证书进⾏掉包;这个方法确实能做到证书的整体掉包,但是别忘记证书明⽂中包含了域名等服务端认证信息,如果整体掉包,客⼾端依旧能够识别出来。
  • 永远记住:中间⼈没有CA私钥,所以对任何证书都⽆法进⾏合法修改,包括⾃⼰的

为什么摘要内容在⽹络传输的时候⼀定要加密形成签名?

  • 常见的摘要算法有:MD5和SHA系列。

  • 以 MD5 为例, 我们不需要研究具体的计算签名的过程, 只需要了解 MD5 的特点:

    • 定长:无论多长的字符串,计算出来的MD5值都是固定长度的(16字节版本或者32字节版本)。
    • 分散:源字符串只要改变一点点,最终得到的MD5值会发生很大的变化。
    • 不可逆:通过源字符串生成MD5很容易,但是通过MD5还原成原字符串理论上不可能。
  • 因为 MD5 有这样的特性,我们可以认为如果两个字符串的 MD5 值相同,则认为这两个字符串相同。

  • 虽然中间无法通过摘要还原出原字符串,但是如果不对摘要加密,中间人可以把明文篡改, 同时也把哈希值重新计算下, 此时客⼾端同样分辨不出来,所以被传输的哈希值不能传输明⽂,需要传输密⽂。

为什么签名不直接加密,而是先要hash形成摘要?

  • 缩小签名密文的长度,加快验证数字签名的运行速度。

查看浏览器受信任证书

浏览器, 点击右上⻆的选择 “设置”, 搜索 “证书管理” , 即可看到以下界⾯. (如果没有,在隐私设置和安全性->安全⾥⾯找找)

六、总结

https ⼯作过程中涉及到的密钥有三组:

  • 非对称加密:用于验证证书是否被篡改。服务器持有私钥和公钥,客户端持有CA公钥,服务器在客户端请求时返回携带签名的证书;客户端通过CA机构公钥进行证书验证,保证证书的合法性,进⼀步保证证书中携带的服务端公钥权威性。
  • 非对称加密:用于协商生成对称加密的密钥,客户端用收到的CA整数中的公钥,给随机生成的对称加密的密钥加密,传输给服务器,服务器通过私钥解密获取得到堆成加密密钥。
  • 对称密钥:客户端和服务端后续通过这个对称密钥对传输数据进行加密和解密。

https相关概念

  • 将包含http以及加密层(SSL/TLS)称为https
  • 数据摘要:通过特定算法 (MD5、SHA系列) 形成特定的字符串,具有唯一性(出现重复的概率比中彩票还低的多)和不可逆性。
  • 证书:证书等于证书明文数据 加上 使用认证机构私钥加密[证书明文所形成的数字摘要]所生成的签名。其中证书明文数据 包含证书发布机构、证书有效期、公钥、证书所有者等。
  • 证书不可被伪造,除非认证结构泄露私钥或者私钥被破解
  • 所有的加密都是为了防止有中间人进行窃取和篡改

以上是关于网络https协议的主要内容,如果未能解决你的问题,请参考以下文章

网络协议

计算机网络HTTP协议详解(十三):安全的HTTPS

HTTP协议篇之HTTPS | 一起学Python网络爬虫

网络协议-HTTPS(笔记)

Python网络爬虫——http和https协议

计算机网络HTTPS 协议详解