Windows下使用抓包工具抓取数据mitmporxy

Posted 2021-08-27 lausuai

前言，目前网上教程五花八门，系统不一，最主要的是没讲清楚，本人使用系统是windows，有的教程是mac系统，还有linux系统的，晕死，所以码下个人遇到的坑：mitmproxy是cmd使用，需要注意路径。

adb链接到模拟器后会进入到模拟的虚拟手机地址，#号表明已经全部root，就不用再写代码su（当时如果有su报错如果已经root可以忽略）

1，准备工具 mitmproxy+ adb+ 夜神模拟器

2，安装方法

mitmproxy 使用pip安装

adb使用连接直接安装，设置环境变量即可

模拟器选择夜神，之前用的木木坑很多，建议使用夜神。

3，准备工作

模拟器网络设置，自定义设置，网址设置为ipv4默认，端口自定义一般选择8888

模拟器设置为进入开发者模式

模拟器系统证书安装mitmproxy，之前有坑是安装用户证书不行：安装过程需要注意cmd路径为.mitmpoxy

这个过程看教程，这个最好 https://blog.csdn.net/u010132177/article/details/117199579

4，使用步骤的思路

启动mitproxy 端口链接，启动夜神模拟器 

然后ctrl+c退出再使用mitmproxy和py代码进行抓包

再另开cmd，adb链接和swipe.py代码自动滑动。

就会自动生成json格式的文件

2的adb安装可以看 https://www.zhihu.com/tardis/sogou/art/140828682

3~4可以参考 https://blog.csdn.net/weixin_39628070/article/details/111696004  虽然这教程比较全，但是用的是mac系统，木木模拟器也很不好用，在安装mitmproxy证书遇到了坑。。

另外教程没有补充swipe.py代码和使用过程，本人补上：

adb devices -l #显示所有已连接的设备详细信息：127.0.0.1：62001
#未连接则运行如下命令连接
adb connect 127.0.0.1:62001 #默认端口 
cd documents#进入安装代码路径
ipython3 swipe.py

其中swipe.py代码为

import os
from time import sleep
import random

# os.system("adb shell input swipe 350 1580 350 680 200")
# adb 模拟滑动手势(以步长200 从坐标350,1580 滑动到350,680)
def adb_swipe(n,time_count):
    x1 = round(350+random.uniform(-5,5),2)
    y1 = round(1580+random.uniform(-6,6),2)
    x2 = round(350+random.uniform(-8,8),2)
    y2 = round(900+random.uniform(-7,7),2)
    step_ = round(200+random.randint(-9,9),2)
    time_sleep = random.uniform(6,8)
    os.system("adb shell input swipe {} {} {} {} {}".format(x1,y1,x2,y2,step_))
    #print('正在看第{}个视频！看{}秒！总共观看{}分钟'.format(n,time_sleep,round(time_count/60,2)))
    sleep(time_sleep)
    return time_sleep

if __name__ == "__main__":
    n = 1
    time_count = 1
    while 1:
        time_sleep = adb_swipe(n,time_count)
        time_count += time_sleep
        n += 1

5，关键点

url的确认很麻烦，需要登录账号。另外要了解的用户、视频列表的api接口。

自动滑屏中途会自动退出，非常头疼，很可能是平台自己的问题。-lx建议是web端抓取。

另外内容抓不完整，我重复抓取3次去重，每次都会有新的视频没有抓全。-这个web如何还需要验证。

有解决办法的大佬如果看到此文欢迎指点迷津。

6，数据分析

本人是配合anaconda使用不赘述