教你优雅地解密HTTPS流量

Posted 2021-04-30 码农沉思录

作者：Jerry Qu
原文：https://imququ.com/post/how-to-decrypt-https.html

Man-in-the-middle

Man-in-the-middle（中间人，简称为 MITM），能够与网络通讯两端分别创建连接，交换其收到的数据，使得通讯两端都认为自己直接与对方对话，事实上整个会话都被中间人所控制。简而言之，在真正的服务端看来，中间人是客户端；而真正的客户端会认为中间人是服务端。

实现中间人攻击有各种各样的手段，这里不展开讨论。一些常见的 HTTP/HTTPS 抓包调试工具，都是通过创建本地 Proxy 服务，再修改浏览器 Proxy 设置来达到拦截流量的目的，他们的工作原理与中间人攻击一致。我用过的这一类工具有：Fiddler、Charles 和 whistle。我在「HTTP 代理原理及实现（一）」一文中介绍的 HTTP 普通代理，扮演的就是 HTTP 中间人角色。

本文主要讨论 HTTPS 中间人，简单示意如下：

Server <---> Local Proxy <---> Browser
         ^                 ^
       HTTPS(1)          HTTPS(2)

上述 HTTPS(1) 连接，是中间人冒充客户端，与服务端建立的连接，由于 HTTPS 服务端一般不认证客户端身份，这一步通常没有问题。而对于 HTTPS(2) 连接来说，中间人想要冒充服务端，必须拥有对应域名的证书私钥，而攻击者要拿到私钥，只能通过这些手段：1）去网站服务器上拿；2）从 CA 处签发证书；3）自己签发证书。

要防范前两点，需要网站做好各个方面的安全防护，从主机安全到网站安全（避免私钥被盗），从域名解析安全到域名邮箱安全（避免攻击者重签证书）。而攻击者自己签发的证书，无法通过系统内置根证书的验证，默认无法用于中间人攻击。

对于 Fiddler 这一类调试工具来说，能够解密 HTTPS 流量的关键在于他们会往系统受信任的根证书列表导入自己的证书，这样他们的自签证书就能被浏览器信任。进入 Fiddler 设置中的「HTTPS」Tab，勾选相关功能后，就可以顺利解密和修改 HTTPS 流量。这时在浏览器中可以看到这样的证书链：

RSA Private Key

我在「使用 Wireshark 调试 HTTP/2 流量」这篇文章中写到：Wireshark 的抓包原理是直接读取并分析网卡数据，要想让它解密 HTTPS 流量，有两个办法：1）如果你拥有 HTTPS 网站的加密私钥，可以用来解密这个网站的加密流量；2）某些浏览器支持将 TLS 会话中使用的对称密钥保存在外部文件中，可供 Wireshark 加密使用。那篇文章介绍了第二种方案，本文简单介绍第一种。

打开 Wireshark 的 SSL 协议设置，参考下图，把 IP、端口、协议和证书私钥都配上（私钥必须存为 PEM 格式）：

然后访问私钥对应的网站，可以看到流量已被解密：

可以看到截图中的 HTTP/1 加密数据已被还原为明文。那么这种方式能解密 HTTP/2 流量吗？先说结论：不能！具体原因下面慢慢分析。

我们知道，TLS 握手阶段需要进行密钥交换和服务端认证这两个重要的操作，密钥交换是为了在不安全数据通道中产生一个只有通信双方知道的共享密钥 Premaster Secret，进而生成 Master Secret 以及后续对称加密 Session Key 和 MAC Key。而客户端之所以要进行服务端认证，是为了确保连接到拥有网站私钥的合法服务器。

最常见的密钥交换方式是 RSA，下面这张图清晰的描述了这个过程：

Client Random 和 Server Random 明文传输，中间人可以直接查看。客户端生成 Premaster Secret 后，用服务端证书公钥加密后发送，如果服务端拥有对应的私钥，就可以成功解密得到 Premaster Secret。这时，客户端和服务端拥有相同的 Client Random、Server Random 和 Premaster Secret，可以各自算出相同的后续所需 Key。

可以看到，这种方式合并了密钥交换和服务端认证两个步骤，如果服务端能解出 Premaster Secret，也就意味着服务端拥有正确的私钥。中间人没有私钥，无法得到 Premaster Secret，也就无法解密后续流量。

对于 Wireshark 来说，配置某个网站的私钥后，能解密这个网站「使用 RSA 进行密钥交换」的加密流量就很容易理解了。

显然，RSA 密钥交换有一个很大的问题：没有前向安全性（Forward Secrecy）。这意味着攻击者可以把监听到的加密流量先存起来，后续一旦拿到了私钥，之前所有流量都可以成功解密。

实际上，目前大部分 HTTPS 流量用的都是 ECDHE 密钥交换。ECDHE 是使用椭圆曲线（ECC）的 DH（Diffie-Hellman）算法。下图是 DH 密钥交换过程：

上图中的 Server DH Parameter 是用证书私钥签名的，客户端使用证书公钥就可以验证服务端合法性。相比 RSA 密钥交换，DH 由传递 Premaster Scret 变成了传递 DH 算法所需的 Parameter，然后双方各自算出 Premaster Secret。

对于这种情况，由于 Premaster Secret 无需交换，中间人就算有私钥也无法获得 Premaster Secret 和 Master Secret。也就是说 Wireshark 无法通过配置 RSA Private Key 的方式解密「使用 ECDHE 进行密钥交换」的加密流量。当然，使用 ECDHE 后，如果被中间人拿到私钥，尽管无法用于解密之前流量，但他可以实施 MITM 攻击来解密之后的流量，所以私钥还是要保管好。

在 ECDHE 密钥交换中，签名算法可以使用 RSA 或 ECDSA（取决于证书类型），也就是目前密钥交换 + 签名有三种主流选择：

• RSA 密钥交换（无需数字签名）；

• ECDHE 密钥交换、RSA 数字签名；

• ECDHE 密钥交换、ECDSA 数字签名；

以下是使用这三种密钥交换方式的网站在 Chrome 中的截图：

HTTP/2 中只能使用 TLSv1.2+，还禁用了几百种 CipherSuite（详见：TLS 1.2 Cipher Suite Black List）。实际上，HTTP/2 允许使用的 CipherSuite 必须采用具有前向安全性的密钥交换算法，不允许使用 RSA 密钥交换。这也是为什么 RSA Private Key 无法用于解密 HTTP/2 加密流量。

SSLKEYLOGFILE

Firefox 和 Chrome 都会在系统环境变量存在 SSLKEYLOGFILE 文件路径时，将每个 HTTPS 连接产生的 Premaster Secret 或 Master Secret 存下来。有了这个文件，Wireshark 就可以轻松解密 HTTPS 流量，即使是使用了 ECDHE 这种具有前向安全性的密钥交换。如下图：

这种方案的详细介绍请参考「使用 Wireshark 调试 HTTP/2 流量」这篇文章。

SSLKEYLOGFILE 文件记录的是 HTTPS 数据传输中最重要的加密信息，如果不是出于调试目的，一般也没人会主动配置这个环境变量，所以这个方案基本不会对 HTTPS 安全性产生影响。

总结

Fiddler 这类工具通过往系统导入根证书来实现 HTTPS 流量解密，充当中间人角色。要防范真正的 HTTPS 中间人攻击，网站方需要保管好自己的证书私钥和域名认证信息，为了防范不良 CA 非法向第三方签发自己的网站证书，还要尽可能启用 Certificate Transparency、HTTP Public Key Pinning 等策略；用户方不要随便信任来历不明的证书，更不要随意导入证书到根证书列表，还要养成经常检查常用网站证书链的习惯。

RSA 密钥交换没有前向安全性，这意味着一旦私钥泄漏，之前所有加密流量都可以解开。为此，网站方需要启用使用 ECDHE 作为密钥交换的 CipherSuite，或者直接使用 ECC 证书；用户方需要弃用不支持 ECDHE 的古董操作系统及浏览器。

对于浏览器而言，HTTPS 毫无秘密，通过浏览器生成的 SSLKEYLOGFILE 文件，Wireshark 可以轻松解密 HTTPS 流量。另外，如果浏览器被安装恶意扩展，即使访问安全的 HTTPS 网站，提交的数据一样可以被截获。这种客户端被攻击者控制引发的安全问题，无法通过 HTTPS 来解决。