想开发网页爬虫,发现被反爬了?想对 App 抓包,发现数据被加密了?不要担心,这里可以为你解决。

Posted 542684416-qq

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了想开发网页爬虫,发现被反爬了?想对 App 抓包,发现数据被加密了?不要担心,这里可以为你解决。相关的知识,希望对你有一定的参考价值。

 

全面超越Appium,使用Airtest超快速开发App爬虫

想开发网页爬虫,发现被反爬了?想对 App 抓包,发现数据被加密了?不要担心,使用 Airtest 开发 App 爬虫,只要人眼能看到,你就能抓到,最快只需要2分钟,兼容 Unity3D、Cocos2dx-*、android 原生 App、ios App、Windows Mobile……。

Airtest是网易开发的手机UI界面自动化测试工具,它原本的目的是通过所见即所得,截图点击等等功能,简化手机App图形界面测试代码编写工作。

安装和使用

安装Airtest

从Airtest官网:airtest.netease.com下载Airtest,然后像安装普通软件一样安装即可。安装过程没有什么需要特别说明的地方。Airtest已经帮你打包好了开发需要的全部环境,所以安装完成Airtest以后就能够直接使用了。

Airtest运行以后的界面如下图所示。

技术图片

连接手机

以Android手机为例,由于Airtest会通过adb命令安装两个辅助App到手机上,再用adb命令通过控制这两个辅助App进而控制手机,因此首先需要确保手机的adb调试功能是打开的,并允许通过adb命令安装App到手机上。

启动Airtest以后,把Android手机连接到电脑上,点击下图方框中的刷新 ADB

技术图片

 

 此时在Airtest界面右上角应该能够看到手机的信息,如下图所示。

技术图片

点击connect按钮,此时可以在界面上看到手机的界面,并且当你手动操作手机屏幕时,Airtest中的手机画面实时更新。如下图所示。

技术图片

对于某些手机,例如vivo,在第一次使用Airtest时,请注意手机上将会弹出提示,询问你是否允许安装App,此时需要点击允许按钮。并且打开开发者模式,这里vivo开发者打开后图如下:

技术图片

打开美团

先通过一个简单的例子,来看看如何快速上手Airtest,稍后再来详解。

例如我现在想使用电脑控制手机,打开美团。

此时,点击下图中方框框住的touch按钮:

技术图片

接下来演示完整的打开流程:

技术图片

这里,我把Airtest分成了A-F6个区域,他们的功能如下:

  • A区:常用操作功能区
  • B区:Python代码编写区
  • C区:运行日志区
  • D区:手机屏幕区
  • E区:App页面布局信息查看区
  • F区:工具栏

A区是常用的基于图像识别的屏幕操作功能,例如:

  • touch: 点击屏幕元素
  • swipe: 滑动屏幕
  • exists: 判断屏幕元素是否存在
  • text: 在输入框中输入文字
  • snashot: 截图
  • ……

一般来说,是点击A区里面的某一个功能,然后在D区屏幕上进行框选操作,B区就会自动生成相应的操作代码。

B区用来显示和编写Python代码。在多数情况下,不需要手动写代码,因为代码会根据你在手机屏幕上面的操作自动生成。只有一些需要特别定制化的动作才需要修改代码。

D区显示了手机屏幕,当你操作手机真机时,这个屏幕会实时刷新。你也可以直接在D区屏幕上使用鼠标操作手机,你的操作动作会被自动在真机上执行。

F区是一些常用工具,从左到右,依次为:

  1. 新建项目
  2. 打开项目
  3. 保存项目
  4. 运行代码
  5. 停止代码
  6. 查看运行报告

后续。。。。。

以上是关于想开发网页爬虫,发现被反爬了?想对 App 抓包,发现数据被加密了?不要担心,这里可以为你解决。的主要内容,如果未能解决你的问题,请参考以下文章

那篇千猫图爬虫竟被反爬了,今日复盘解决一下,Python爬虫120例

WebDriver 识别反爬虫的原理和破解方法~

Python3爬虫拉勾网爬虫

用Python爬取大众点评时被反爬ip被封怎么办,他总叫我滑动验证但滑动了也没有用。。。求大佬帮忙。。。

python爬虫的一个常见简单js反爬

进击的反爬机制