爬虫之移动端数据捕获

Posted golanguage

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫之移动端数据捕获相关的知识,希望对你有一定的参考价值。

移动端数据捕获

  • 第三方抓包工具

    • Fiddler(window)
    • 青花瓷(mac)
    • miteproxy
  • 抓包工具就是代理服务器

    • 拦截和转发请求&响应
  • Fiddler的基本使用

    • 安装
      • 默认安装好的Fiddler只可以捕获到HTTP协议的请求
    • 配置
      • 进行Fiddler证书的本机安装
        • tools→options→HTTPS→Decrypt HTTPS traffic→Check for certiicate revocation
      • 配置Fiddler让其可以捕获其他设备的请求
        • tools→options→Connections→Allow remote computers to connect
      • Fiddler重启
  • 在手机端安装好Fiddler的证书

    • 需要将fiddler所在的机器和手机设定到一个网段下(pc开热点,手机链接)

    • 在手机的浏览器中访问:fiddler所在机器的IP:fiddler的端口(192.168.252.1:9999)就可以看到如下页面(提供了一个证书下载功能)

      技术图片

    • 将下载好的证书信任且安装到手机中

      • 百度一下,安卓,ios都能搜到
    • 在手机中配置代理

      • 百度一下,安卓,iOS都能搜到
      • 配置代理ip:fiddler所在机器的ip
      • 代理端口:fiddler自己的端口

通过fiddler定位到请求的url,就可以爬取移动端请求的数据,案例搜集中...

以上是关于爬虫之移动端数据捕获的主要内容,如果未能解决你的问题,请参考以下文章

爬虫实战 51job移动端数据采集

爬虫学习 09.移动端数据爬取

移动端Python爬虫实战-2020版

postman抓包之移动端(安卓和iOS)

爬虫进阶之分布式爬虫编写

Python爬虫编程思想(116):抓取移动App数据--在PC端和移动端安装证书