使用Monkey进行软件测试(随机测试+脚本测试)

Posted weixin_46091520

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了使用Monkey进行软件测试(随机测试+脚本测试)相关的知识,希望对你有一定的参考价值。

文章目录

一、基础概念

所谓的猴子测试(Money Test),也称搞怪测试,怪用测试,指在软件测试中﹐测试者可以进行各种稀奇古怪的操作模式,用以测试软件的稳定度。猴子测试,通俗来讲是一种系统对信号因子输入稳健性的测试方法。一般用于计算机软件程序这样的逻辑严密性要求高的系统。

猴子测试之所以会广泛用于软件BUG测试,是因为系统的“可重复性”以及系统输入因子“有限性”和“单纯性”。

通常情况下,复杂的测试会比简单的测试找到更多的bug。但是大部分的自动化测试都是简单的。我们期待一个输入后得到一个输出,然后程序回到一个已知的基本状态,然后我们再去执行另外一个简单的测试。我们设计测试用例一般都是按照一定的逻辑顺序,是经过深思熟虑的,但是这样的测试仍然是简单的测试。当我们回到程序的基本状态,则丢弃了前面测试的“历史”。而真正的用户不会这样操作,他们把一系列简单的动作串起来,形成一个复杂的动作流。

我们的简单测试不会模拟那些用户行为。因此如果一个简单的动作引起了另外一个动作的失败,我们的简单测试不会找到那个bug…因此,我们需要使用复杂序列的、以前未使用过的测试,在这方面猴子比人更有效。

猴子测试就是百般刁难,乱按一通,系統也不能宕机或者数据出现差错,这样才能称得上是经得起考验的程序。

二、monkey测试的优缺点

2.1 优点

简单易用,方便快捷,并且理论上可以测试到所有bug,因为理论上只要次数最够多,所有事件都会发生。

2.2缺点

  • 遍历界面有限。 在monkey测试中,由于事件的随机性,使得monkey容易卡在某些简单页面,比如登陆页面这种可操作内容很少的页面。导致测试效果不佳。测试有效性大打折扣。

  • 无法得知Bug的复现步骤。由于Monkey的随机性,如果Bug是由于事件发生的特定序列产生的,往往很难复现Bug。

  • 路径回环。由于monkey太过随机,最后根本无法控制,很容易陷于一个页面无法出来,或者陷入某个无关紧要的地方无法出来,导致测试结果并不具有很好的意义。这也是导致遍历界面有限的原因。

2.3 解决方案

2.3.1 二次开发

对monkey进行二次开发,例如maxin,可以通过一些黑白名单控制,或者输入指定事件流,或者指定不同的测试随机模式,深度优先或者控件识别等,同时加入一些熔断机制,在一个地方执行了太多次后可以自动触发熔断并拉起。但是这样还是会进入死循环,因为仍然不能解决路径回环的问题。

2.3.2 指定测试页面

我们可以指定测试哪些页面,但是发现如果指定某几个Activity,虽然不会陷入路径回环,但随机的意义又不是那么大了,如果在几个页面进行随机,并且页面深度不是很深,那一直在这些页面测试也没有多大意义

2.3.3 调整各种事件的比例

我们可以根据应用的特点,适当调整各种事件的比例,adb也提供了这样的命令参数。

--pct-trackball <percent>

作用:调整滚动球事件百分比。(滚动球事件由一个或多个随机的移动事件组成,有时会伴随着点击事件)如不规则滑动解锁

--pct-nav<percent> 导航,现在手机基本没有导航了

---pct-syskeys<percent> 按键消息比例,主页、后退、音量增减

--pct-anyevent<percent> 其他不常用的按键比例的设置,不常用
2.3.3 编写自定义测试脚本

Monkey测试产生以上问题的原因就是太随机了,所以我们如果降低甚至抑制这种随机性,就可以避免上述的问题,调整各种事件的比例虽然降低了随机性,但仍可能存在上述问题。基于这个原因,我们可以编写特定的脚本,让事件依据我们设定的顺序发生,这样就可以解决上述问题:由于我们可以设定事件发生顺序,自然可以到达任意深度的页面,也可以定位出Bug。

但这种方式只适用于我们已经有明确的思路,特别想测试APP中某些功能。

2.3.4 分析APP特性,选择合适的方案

可以看出,测试的随机性和上述问题的解决是很难兼得的,我们必须根据我们应用的特性选择合适的方案。

对于页面功能不多,控件简单的应用,我们可以采用自定义脚本进行测试,因为在这种情况下测试所有功能也是可能的。

对于页面结构比较规律的应用,比如直播软件,每个页面结构相对固定(直播间都长一样),或者电商app(每种商品的页面大致相同)。由于随机性,所以点击不会一直在同一个地方进行点击,所以不容易一直卡在同一个页面。

三、monkey测试的基本过程

3.1 环境准备

3.1.1环境
  • 电脑系统:window10
  • 手机系统:android 10
  • JDK版本:1.8
  • SDK版本:1.0.41
3.1.2 配置过程

每台android手机里都有Monkey工具,但是我们是看不到的,因为,Monkey不是一个可视化的工具。我们需要借助ADB才能与Monkey进行通讯。

ADB全名为Android Debug Bridge ,安卓调试桥,是实现电脑设备和手机沟通的桥梁。在开始Monkey测试之前,我们需要搭建环境。第一个前提条件就是安装Java JDK,第二个条件就是安装android SDK。

  • 下载jdk 具体安装流程参考:https://blog.csdn.net/write6/article/details/79136388
  • 再下载sdk 具体安装流程参考:https://blog.csdn.net/u011541946/article/details/77142045

配置成功后,打开cmd,输入以下命令:

adb

出现以下画面:

表示配置成功。

3.2 测试adb程序

3.2.1 连接设备

配置成功后,打开手机的开发者模式,然后打开USB调试,并用数据线连接手机和电脑,然后在cmd中输入以下命令

adb devices

出现以下画面,表示连接成功

3.2.2 获取包名

方法一:

在cmd中输入以下命令

adb shell pm list packages

可以查看手机所有的安装包(以下只显示部分)可以通过名称找出你要评测的包

方法二

输入

adb shell pm list packages -3

可以查看手机上所有的第三方安装包,可以通过名称找出你要评测的包

方法三

输入命令

adb shell logcat|findstr "Displayed

同时打开待测的APP,出现以下画面,这里以今日头条为例

其中com.ss.android.article.news表示包名之后是APPactivity,可用于自动化评测。

3.2.3 使用monkey测试

对整机进行测试

使用adb shell monkey -v 100对整机进行测试

对指定应用进行测试

找到包名然后使用一个简单的命令进行monkey测试,

adb shell monkey -p com.ss.android.article.news -v -v -v 100

其中

-p表示指定测试的程序

-v表示查看monkey的执行日志,其中-v越多,表示信息越详细。

其分别对应三个等级:

Level 0(缺省值)
除启动提示、测试完成和最终结果之外,提供较少信息。
Level 1
提供较为详细的测试信息,如逐个发送到Activity的事件。
Level 2
提供更加详细的设置信息,如测试中被选中的或未被选中的Activity

100表示执行的测试事件为100个

执行后会出现详细的信息,同时会发现,手机App界面自动进行了100次随机操作。

3.2.4 日志内容解析

Monkey运行时输出的日志一般包含四类信息,分别是测试命令信息、伪随机事件流信息、异常信息、Monkey执行结果信息。

测试命令信息

-----随机种子,执行事件的数目-----
:Monkey: seed=1639214805777 count=100

-----可运行的应用列表-----
:AllowPackage: com.ss.android.article.news

-----表示启动的活动-----
:IncludeCategory: android.intent.category.LAUNCHER
:IncludeCategory: android.intent.category.MONKEY

-----表示打开的活动-----
// Selecting main activities from category android.intent.category.LAUNCHER
// Seeded: 1639214805777

-----各事件的百分比-----
// Event percentages:
//   0: 15.0%
//   1: 10.0%
//   2: 2.0%
//   3: 15.0%
//   4: -0.0%
//   5: -0.0%
//   6: 25.0%
//   7: 15.0%
//   8: 2.0%
//   9: 2.0%
//   10: 1.0%
//   11: 13.0%

日志中会显示进行各种操作的百分比:其含义会随着Android版本的不同而不同,为了了解其含义,首先使用如下命令查看Android版本

adb shell getprop ro.build.version.release

我的查询结果为

通过阅读对应版本的money源码中的MonkeySourceRandom.java文件,可以看到其Event序列是

public static final int FACTOR_TOUCH        = 0;
public static final int FACTOR_MOTION       = 1;
public static final int FACTOR_PINCHZOOM    = 2;
public static final int FACTOR_TRACKBALL    = 3;
public static final int FACTOR_ROTATION     = 4;
public static final int FACTOR_NAV          = 5;
public static final int FACTOR_MAJORNAV     = 6;
public static final int FACTOR_SYSOPS       = 7;
public static final int FACTOR_APPSWITCH    = 8;
public static final int FACTOR_FLIP         = 9;
public static final int FACTOR_ANYTHING     = 10;
public static final int FACTORZ_COUNT       = 11;    // should be last+1

所以对应的事件解释为

//   0: 15.0%   触摸事件TOUCH,--pct-touch
//   1: 10.0%   手势事件MOTION, --pct-motion
//   2: 2.0%    两指缩放事件PINCHZOOM,--pct-pinchzoom
//   3: 15.0%   轨迹球事件TRACKBALL,--pct-trackball
//   4: -0.0%   屏幕旋转事件ROTATION, --pct-rotation
//   5: 25.0%   基本导航事件nav, --pct-nav
//   6: 15.0%   主要导航事件majornav, --pct-majornav
//   7: 2.0%    系统按钮事件sysops, --pct-syskeys
//   8: 2.0%    启动activity事件appswitch, --pct-appswitch
//   9: 1.0%    键盘轻弹事件flip, --pct-flip
//   10: 13.0%   其它事件,包括按键和不常用的按键,--pct-anyevent

伪随机时间流信息

Monkey开始执行测试后,会顺序输出执行的事件流信息。

-----跳转到com.android.article.news里的activity.MainActivity这个活动-----
:Switch: #Intent;action=android.intent.action.MAIN;category=android.intent.category.LAUNCHER;launchFlags=0x10200000;component=com.ss.android.article.news/.activity.MainActivity;end

-----允许启动com.android.article.news里的activity.MainActivity这个活动-----
    // Allowing start of Intent  act=android.intent.action.MAIN cat=[android.intent.category.LAUNCHER] cmp=com.ss.android.article.news/.activity.MainActivity  in package com.ss.android.article.news
    
-----延迟(可以在命令参数中设置延迟)-----
Sleeping for 0 milliseconds

-----触摸事件-----
:Sending Touch (ACTION_DOWN): 0:(842.0,1801.0)

-----基本导航事件-----
C:\\Users\\86156>adb shell monkey -p com.ss.android.article.news -v -v -v 100

异常信息

当Monkey执行过程中遇到错误时,会输出对应的异常信息。由于本次实验的软件没有遇到错误,所以没有输出信息。

执行结果信息

-----产生了100次事件-----Events injected: 100-----表示屏幕旋转信息-----:Sending rotation degree=0, persist=false-----表示丢弃的事件信息-----:Dropped: keys=1 pointers=0 trackballs=0 flips=0 rotations=0-----网络状态-----## Network stats: elapsed time=700ms (0ms mobile, 0ms wifi, 700ms not connected)----最终执行结果-----// Monkey finished

3.3脚本自动化测试

3.2中实现了使用monkey进行随机测试的过程,但有时候我们需要根据我们的需求进行测试,这时候就要设计特定的测试样例。

monkey提供了一系列脚本命令以便于我们根据需求设计测试样例,主要有

LaunchActivity(pkg_name, cl_name): 启动应用,第一个参数DispatchPress(keycode): 向系统发送一个固定的按键事件;例如home键,back键;参数是按键值 ,按键值可查看keycodeUserWait:让脚本的执行暂停一段时间,做一个等待操作RotateScreen(rotationDegree, persist): 翻转屏幕,第一个参数是旋转角度,第二个是旋转后是否停在当前位置Tap(x, y) :单击事件,点击屏幕,参数是点击坐标Drag(xStart, yStart, xEnd, yEnd) :在屏幕上滑动,坐标是从哪一点滑到哪一点DispatchString(input): 输入字符串RunCmd(cmd) :执行shell命令,比如截图 screencap -p /data/local/tmp/tmp.pngDispatchFlip(true/false) :打开或者关闭软键盘UserWait(sleepTime) :睡眠指定时间
3.3.1需求分析

本次实验中主要实现以下测试案例:

打开今日头条,点击搜索框,输入"abc",然后点击搜索。播放第一视频,并在播放过程中调整音量(增大和减小)。

通过资料中的脚本命令可知,输入字符串可以是使用DispatchString(input)函数,但我们还要点击搜索框和搜索按键,所以要获取对应按键的坐标。最后可以使用RunCmd(Cmd)进行截图。

3.3.2 获取坐标

在保持设备连接的情况下。执行以下命令获取当前事件,

adb shellgetevent

然后点击屏幕对应区域,可以看到如下信息

有四列信息,分别为:设备名称,Code,Type,Value.
Code是指:该事件是什么。
Type是指:事件的相关参数
Value是指:事件参数的值。

code值:

0003—>绝对坐标

0000—>同步事件。代表某一操作的完成。

0001—>key_broad。

0002—>相对坐标。

Type值,我们只关注两个值

0035—>绝对坐标X
0036—>绝对坐标Y

value:表示对应的值

例子中点击的坐标为(0x1d2=466,0xad=173)

3.3.3编写脚本

根据需求已经获取的信息,编写以下脚本

# Start of Script   type= user   count= 10   speed= 1.0   start data >>   #open the appLaunchActivity(com.ss.android.article.news, com.ss.android.article.news.activity.MainActivity)   UserWait(8000)Tap(576, 239)UserWait(2000) DispatchString(abc)UserWait(2000) Tap(1298, 216)UserWait(2000) Tap(746,1277)UserWait(8000) #turn up and down the volumeDispatchPress(24)UserWait(1000) DispatchPress(24)UserWait(1000) DispatchPress(24)UserWait(1000) DispatchPress(24)UserWait(1000) DispatchPress(24)UserWait(3000) DispatchPress(25)UserWait(1000) DispatchPress(25)UserWait(1000) DispatchPress(25)UserWait(1000) 
3.3.4 执行脚本

因为Monkey是运行在设备上的,所以需要将脚本先传到设备上,

通过adb push monkey.txt sdcard/monkey.txt将文件推送到手机sd卡上

然后通过adb shell monkey -f sdcard/monkey.txt -v 1 执行脚本文件
执行日志如下:

可以看到,每个事件都成功执行了。

monkey 进阶使用手册,monkey随机测试后怎么定位问题

首先我们知道使用monkey后,我们可以查看三种类型的日志,一种是安卓内核日志,一种是安卓系统自己的日志,还有一种是monkey日志。
当我们使用monkey进行随机测试时,如何才知道我们这次随机测试是否有问题。
 
1.使用命令产生随机事件
adb shell monkey -p vchat.faceme -v  100    简单adb命令,执行100次随机事件并输出简单日志
完整mokey命令:
 adb shell monkey -p vchat.faceme  --throttle 1000 -s 100 -v -v 500000 >C:\Users\admin\Downloads\TESTER\monkey_log\java_monkey_log.txt
 
monkey日志可以导入到text文件中自己查看,同事安卓的内核和系统日志可以在monkey结束后,自己使用adb logcat命令来查看
 
2.查看monkey日志

1.程序无响应,ANR问题:在日志中搜索“ANR”
2.崩溃问题:在日志中搜索“CRASH”

3.其他问题:在日志中搜索”Exception”

搜索了一下,发现无1,2问题,但又一个Exception异常

Got IOException performing flipjava.io.IOException: write failed: EINVAL (Invalid argument) 
// Injection Failed

百度后,发现别人这样解释的:monkey发送各种事件操作app,中间有一个io异常,但是并没有堆栈,所以没有任何意义。

如果在这里发现monkey崩溃日志,应该要看monkey当时执行了什么事情,自己手动执行看看是否出现,如果不出现,再次使用相同的seed和相同的页面,再次启动app monkey再来一次随机测试,如果没有出现,证明次问题是偶然性问题。

3.adb logcat查看安卓日志

记得只查看并过滤自己操作的app日志,不过在屏幕上输出并不好找出问题,最好把它输出到text文件再查看

命令如下:

adb logcat  -v time | findstr vchat.faceme >C:\Users\admin\Downloads\TESTER\monkey_log\andriod_log.txt

一样的搜索关键字ANR/CRASH/Exception 查看日志异常

搜索到一个崩溃和一个异常:

08-13 11:09:27.658 D/CrashReport(15779): >>> vchat.faceme.ui.personal.PersonalSettingActivity onResumed <<<

08-12 20:12:20.073 D/Error   ( 4763): ERR: stack=android.util.Log$TerribleFailure: {"ptid":"4763-1*","stack":"java.lang.NumberFormatException: Invalid long: \"gp-500108\"\\n\tat java.lang.Long.invalidLong(Long.java:124)\\n\tat java.lang.Long.parse(Long.java:363)\\n\tat java.lang.Long.parseLong(Long.java:353)\\n\tat java.lang.Long.parseLong(Long.java:321)\\n\tat vchat.common.util.IMDecodeUtil.decodeContactByTargetId(IMDecodeUtil.java:96)\\n\tat vchat.faceme.message.adapter.MessageListAdapter.convert(MessageListAdapter.java:65)\\n\tat vchat.faceme.message.adapter.MessageListAdapter.convert(MessageListAdapter.java:47)\\n\tat com.chad.library.adapter.base.BaseQuickAdapter.onBindViewHolder(BaseQuickAdapter.java:937)\\n\tat com.chad.library.adapter.base.BaseQuickAdapter.onBindViewHolder(BaseQuickAdapter.java:66)\\n\tat androidx.recyclerview.widget.RecyclerView$Adapter.onBindViewHolder(RecyclerView.java:6890)\\n\tat androidx.recyclerview.widget.RecyclerView$Adapter.bindViewHolder(RecyclerView.java:6932)\\n\tat androidx.recyclerview.widget.RecyclerView$Recycler.tryBindViewHolderByDeadline(RecyclerView.java:5852)\\n\tat androidx.recyclerview.widget.RecyclerView$Recycler.tryGetViewHolderForPositionByDeadline(RecyclerView.java:6119)\\n\tat androidx.recyclerview.widget.RecyclerView$Recycler.getViewForPosition(RecyclerView.java:5958)\\n\tat androidx.recyclerview.widget.RecyclerView$Recycler.getViewForPosition(RecyclerView.java:5954)\\n\tat androidx.recyclerview.widget.LinearLayoutManager$LayoutState.next(LinearLayoutManager.java:2226)\\n\tat androidx.recyclerview.widget.LinearLayoutManager.layoutChunk(LinearLayoutManager.java:1557)\\n\tat androidx.recyclerview.widget.LinearLayoutManager.fill(LinearLayoutManager.java:1517)\\n\tat androidx.recyclerview.widget.LinearLayoutManager.onLayoutChildren(LinearLayoutManager.java:612)\\n\tat androidx.recyclerview.widget.RecyclerView.dispatchLayoutStep2(RecyclerView.java:3990)\\n\tat androidx.recyclerview.widget.RecyclerView.onMeasure(RecyclerView.java:3402)\\n\tat android.view.View.measure(View.java:18831)\\n\tat androidx.constraintlayout.widget.ConstraintLayout.internalMeasureChildren(ConstraintLayout.java:1248)\\n\tat androidx.constraintlayout.widget.ConstraintLayout.onMeasure(ConstraintLayout.java:1593)\\n\tat android.view.View.measure(View.java:18831)\\n\tat vchat.common.widget.MyDrawerLayout.onMeasure(MyDrawerLayout.java:1115)\\n\tat android.view.View.measure(View.java:18831)\\n\tat androidx.constraintlayout.widget.ConstraintLayout.internalMeasureChildren(ConstraintLayout.java:1248)\\n\tat androidx.constraintlayout.widget.ConstraintLayout.onMeasure(ConstraintLayout.java:1593)\\n\tat android.view.View.measure(View.java:18831)\\n\tat android.view.ViewGroup.measureChildWithMargins(ViewGroup.java:5990)\\n\tat android.widget.FrameLayout.onMeasure(FrameLayout.java:194)\\n\tat androidx.appcompat.widget.ContentFrameLayout.onMeasure(ContentFrameLayout.java:143)\\n\tat android.view.View.measure(View.java:18831)\\n\tat android.view.ViewGroup.measureChildWithMargins(ViewGroup.java:5990)\\n\tat android.widget.LinearLayout.measureChildBeforeLayout(LinearLayout.java:1465)\\n\tat android.widget.LinearLayout.measureVertical(LinearLayout.java:748)\\n\tat android.widget.LinearLayout.onMeasure(LinearLayout.java:630)\\n\tat android.view.View.measure(View.java:18831)\\n\tat android.view.ViewGroup.measureChildWithMargins(ViewGroup.java:5990)\\n\tat android.widget.FrameLayout.onMeasure(FrameLayout.java:194)\\n\tat android.view.View.measure(View.java:18831)\\n\tat android.view.ViewGroup.measureChildWithMargins(ViewGroup.java:5990)\\n\tat android.widget.LinearLayout.measureChildBeforeLayout(LinearLayout.java:1465)\\n\tat android.widget.LinearLayout.measureVertical(LinearLayout.java:748)\\n\tat android.widget.LinearLayout.onMeasure(LinearLayout.java:630)\\n\tat android.view.View.measure(View.java:18831)\\n\tat android.view.ViewGroup.measureChildWithMargins(ViewGroup.java:5990)\\n\tat android.widget.FrameLayout.onMeasure(FrameLayout.java:194)\\n\tat com.android.internal.policy.PhoneWindow$DecorView.onMeasure(PhoneWindow.java:26

出现了一个崩溃异常,给开发反馈后,开发果然知道是出现了什么问题,然后正在看,对我来说,合适蛮有成就感的哈哈哈

 

停止monkey的办法:

 

注意 Monkey启动后会不断地向被测对象发送随机事件流,直到事件执行完毕或者发生异常时才停止。在Monkey运行过程中,即便断开 与PC的连接,Monkey依然可以在手机上继续运行。

停止Monkey的方法是:直接杀掉手机上的Monkey进程。具体方法如下:

adb shell 进入脚本界面

shell界面输入

ps |grep monkey

获取到com.android.commands.monkey的进程ID

 kill pid进程号

 

使用monkey查看app是否有内存泄露:

 adb shell monkey -p vchat.faceme --pct-touch 100  --throttle 1000 -s 100 -v -v 50 >C:\Users\admin\Downloads\TESTER\monkey_log\java_monkey_log.txt

 

adb shell 查看进程内存

dumpsys meminfo  后面有点难,后面再看好了

 

以上是关于使用Monkey进行软件测试(随机测试+脚本测试)的主要内容,如果未能解决你的问题,请参考以下文章

随机测试工具猴子-monkey

Monkey如何使用

怎么使用monkey测试开关机100次

Android 测试之Monkey

Monkey (压力测试)-移动端手机压力测试工具

Monkey