App爬虫神器mitmproxy和mitmdump的使用

Posted BSSZDS930

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了App爬虫神器mitmproxy和mitmdump的使用相关的知识,希望对你有一定的参考价值。

mitmproxy是一个支持HTTP和HTTPS的抓包程序,有类似Fiddler、Charles的功能,只不过它是一个控制台的形式操作。

mitmproxy还有两个关联组件。

一个是mitmdump,它是mitmproxy的命令行接口,利用它可对接Python脚本,用Python实现监听后的处理。

另一个是mitmweb,它是一个Web程序,通过它可清楚观察mitmproxy捕获的请求。

# C:Users.mitmproxy目录下存放证书
  1. 启动mitmweb,网页上【Edit Options】修改端口。 # linux指定代理端口 mimtproxy -p 9999
  2. 将mitmproxy的证书push到安卓系统的证书目录中;

在shell中计算证书的散列值

openssl  x509   -subject_hash_old   -inform PEM   -in ~/.mitmproxy/mitmproxy-ca-cert.pem | head -1

将证书push到安卓系统的证书目录中

adb push    ~/.mitmproxy/mitmproxy-ca-cert.pem    /system/etc/security/cacerts/c8750f0d.0

      3. 查看pc的局域网地址,通过adb设置代理的地址和端口号;

 
  • 设置代理  adb shell settings put global http_proxy ip:port       (ip为PC的局域网ip,端口为mitmproxy设置的代理端口)
  • 移除设置的代理

adb shell settings delete global http_proxy

adb shell settings delete global global_http_proxy_host

adb shell settings delete global global_http_proxy_port

 

 

mitmproxy有如下几项功能。

  • 拦截HTTP和HTTPS请求和响应。

  • 保存HTTP会话并进行分析。

  • 模拟客户端发起请求,模拟服务端返回响应。

  • 利用反向代理将流量转发给指定的服务器。

  • 支持Mac和Linux上的透明代理。

  • 利用Python对HTTP请求和响应进行实时处理。

原理

手机和PC在同一个局域网内,设置代理为mitmproxy的代理地址。
“中间人”:手机在访问互联网时,流量数据包就会流经mitmproxy,mitmproxy再去转发这些数据包到真实的服务器;
                  服务器返回数据包时再由mitmproxy转发回手机,这样mitmproxy抓取到所有Request和Response。
另外这个过程还可对接mitmdump,抓取到的Request和Response的具体内容都可直接用Python来处理,比如得到Response之后可直接进行解析,然后存入数据库就完成了数据的解析和存储过程。
 
 

以上是关于App爬虫神器mitmproxy和mitmdump的使用的主要内容,如果未能解决你的问题,请参考以下文章

Python爬虫编程思想(124):抓取移动App数据--mitmdump与Python对接

Python爬虫编程思想(124):抓取移动App数据--mitmdump与Python对接

Python3网络爬虫实战-7APP爬取相关库的安装:MitmProxy的安装

Python3网络爬虫实战-8APP爬取相关库的安装:MitmProxy的安装

Python爬虫编程思想(119):抓取移动App数据--在PC端安装mitmproxy证书

爬虫学习笔记(二十二)—— Mitmproxy