爬虫入门五（移动端数据的爬取）

Posted 2020-11-23 zhangdadayou

常用的抓包工具

常用的抓包工具：本质就是一款服务器，适用于实现请求和响应的拦截

fiddler
    默认只可以抓起http协议的请求和响应
    https:
        tools - options - https - detrypt https traffic
        含义：将fiddler的证书安装到本地
青花瓷（charles）

miteproxy

移动端数据的爬取

配置相关的环境

• fiddler的配置：
  • tools-》options-》connections->allow remote conxxx
  • 查看fiddler的端口号，并且记住端口号
• 测试配置是否生效：
  • 在电脑的浏览器访问：http://localhost:端口号/，如果可以访问成共则表示配置成功

网络设置：

• 网络设置：

  • fiddler所在的电脑开启一个热点，手机连接热点
    • 保证手机和电脑同处于同一个网段

• 在手机中安装fiddler的证书

  • 手机浏览器访问：

    http://电脑的ip:端口号/

    • 点击下载证书的链接，进行证书下载

  • 在手机中新任且安装证书

• 开启手机网络代理

  • wifi-》点击感叹号-》开启代理-》代理的ip就是电脑的ip，端口就是fiddler的端口

移动端自动化

• appnium是一个基于手机应用自动化的模块

  待补充