Python爬虫编程思想(125):抓取移动App数据--使用mitmweb监听请求与响应

Posted 蒙娜丽宁

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python爬虫编程思想(125):抓取移动App数据--使用mitmweb监听请求与响应相关的知识,希望对你有一定的参考价值。

mitmproxy有3中监听请求与响应的方式。

  1. mitmproxy控制台方式
  2. mitmdump与Python对接的方式
  3. mitmweb可视化方式

        前2种都是基于控制台的方式,尽管第2种通过与Python对接的方式可以利用Python编写一个可视化工具,但还需要进行大量的编码,如果要想直接用可视化的方式监听请求与响应数据,就需要使用第3种方式:mitmweb。这是一个Web版的可视化监听工具,执行mitmweb命令即可启动mitmweb服务,默认端口号是8081。启动mitmweb服务后,会在默认的浏览器中打开mitmweb的首页,如图1所示。

        在页面的左侧是所有监听到的Url,右侧是Request、Response和Details三个选项卡,分别显示请求信息,响应信息和细节信息。切换到Response选项卡,如图16-45所示。这里面显示了响应信息,单击右上角按钮可以编辑响应信息,然后单击图2所示页面左上角的Replay按钮,会重新发送当前请求。 

 单击Details选项卡,会看到如图3所示的信息。

         通常会使用mitmweb分析请求和响应数据,而用mitmdump与Python结合的方式抓取并处理数据。

以上是关于Python爬虫编程思想(125):抓取移动App数据--使用mitmweb监听请求与响应的主要内容,如果未能解决你的问题,请参考以下文章

Python爬虫编程思想(121):抓取移动App数据--设置手机的代理

Python爬虫编程思想(122):抓取移动App数据--用mitmproxy监听App的请求与响应数据

Python爬虫编程思想(115):抓取移动App数据--使用Charles抓取HTTP数据包

Python爬虫编程思想(118):抓取移动App数据--mitmproxy基础

Python爬虫编程思想(124):抓取移动App数据--mitmdump与Python对接

Python爬虫编程思想(124):抓取移动App数据--mitmdump与Python对接