爬虫之移动端数据捕获

Posted 2021-03-04 golanguage

移动端数据捕获

• 第三方抓包工具

  • Fiddler（window）
  • 青花瓷（mac）
  • miteproxy

• 抓包工具就是代理服务器

  • 拦截和转发请求&响应

• Fiddler的基本使用

  • 安装
    • 默认安装好的Fiddler只可以捕获到HTTP协议的请求
  • 配置
    • 进行Fiddler证书的本机安装
      • tools→options→HTTPS→Decrypt HTTPS traffic→Check for certiicate revocation
    • 配置Fiddler让其可以捕获其他设备的请求
      • tools→options→Connections→Allow remote computers to connect
    • 将Fiddler重启

• 在手机端安装好Fiddler的证书

  • 需要将fiddler所在的机器和手机设定到一个网段下（pc开热点，手机链接）

  • 在手机的浏览器中访问：fiddler所在机器的IP:fiddler的端口（192.168.252.1:9999）就可以看到如下页面（提供了一个证书下载功能）

    

  • 将下载好的证书信任且安装到手机中

    • 百度一下，安卓，ios都能搜到

  • 在手机中配置代理

    • 百度一下，安卓，iOS都能搜到
    • 配置代理ip：fiddler所在机器的ip
    • 代理端口：fiddler自己的端口

通过fiddler定位到请求的url，就可以爬取移动端请求的数据，案例搜集中...