Python3 爬虫15_Fiddler抓包分析

Posted 2020-11-01 奔跑的金鱼

我们要抓取一些网页源码看不到的信息，例如：淘宝的评论等

我们可以使用工具Fiddler进行抓取

软件下载地址：https://pan.baidu.com/s/1nPKPwrdfXM62LlTZsoiDsg 密码：wche

安装不详细介绍，直接下一步即可

安装完成后,运行程序如下：

设置代理

打开火狐浏览器

如下设置：

Fiddler默认只能抓取HTTP协议的网页，不能抓取HTTPS协议的网页，而我们很多时候，都需要抓HTTPS协议的网页。

Tool-----Options-----HTTPS,设置如下：

设置过程中或许会提示如下，直接点击Yes即可

然后点击Actions----Export Root Certificate to Desktop

点击确定后，桌面上就出现该图标

接着，我们可以在浏览器导入该证书，我们打开火狐浏览器

【选项】---【隐私与安全】--【证书】---【查看证书】---【导入】

点击【导入】

勾选下图所示2个按钮

上述信息设置完毕之后，我们刷新网址：https://www.taobao.com/

再看Fiddler什么也没有

那么是什么问题呢？

接下来，我们win+R 并输入certmgr.msc并回车打开证书管理器

【操作】---【查找证书】

此处，我们找到了很多个证书，我们通过右键--删除所有证书

删除完成之后如下图：

接下来，删除火狐中的相关证书

【选项】---【隐私与安全】---【证书】---【查看证书】

找到DO_NOT开头的Fiddler证书进行删除

依次删除【个人】、【服务器】、【其他】下的证书

这些证书删除完毕以后

点击以下地址下载文件

https://files.cnblogs.com/files/OliverQin/fiddlercertmaker.zip

下载后解压，直接打开，报错忽略即可

接着重启Fiddler,重启完毕后，随便打开一个商品的评论

先使用clear清除内容，然后刷新评论

我刷新的页面如下：

刷新完毕之后再次看Fiddler

我们可以看到，已经可以抓取了，如果上述设置还是不行，那么打开Fiddler安装的目录：例如（D:\\soft\\fiddler）

在cmd中进入到该目录，执行以下代码

makecert.exe -r -ss my -n "CN=DO_NOT_TRUST_FiddlerRoot, O=DO_NOT_TRUST, OU=Created by http://www.fiddler2.com" -sky signature -eku 1.3.6.1.5.5.7.3.1 -h 1 -cy authority -a sha1 -m 120 -b 09/05/2012

执行结果如下：

执行完毕之后再次导出导入CA证书。