使用Monkey进行软件测试(随机测试+脚本测试)
Posted weixin_46091520
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了使用Monkey进行软件测试(随机测试+脚本测试)相关的知识,希望对你有一定的参考价值。
文章目录
一、基础概念
所谓的猴子测试(Money Test),也称搞怪测试,怪用测试,指在软件测试中﹐测试者可以进行各种稀奇古怪的操作模式,用以测试软件的稳定度。猴子测试,通俗来讲是一种系统对信号因子输入稳健性的测试方法。一般用于计算机软件程序这样的逻辑严密性要求高的系统。
猴子测试之所以会广泛用于软件BUG测试,是因为系统的“可重复性”以及系统输入因子“有限性”和“单纯性”。
通常情况下,复杂的测试会比简单的测试找到更多的bug。但是大部分的自动化测试都是简单的。我们期待一个输入后得到一个输出,然后程序回到一个已知的基本状态,然后我们再去执行另外一个简单的测试。我们设计测试用例一般都是按照一定的逻辑顺序,是经过深思熟虑的,但是这样的测试仍然是简单的测试。当我们回到程序的基本状态,则丢弃了前面测试的“历史”。而真正的用户不会这样操作,他们把一系列简单的动作串起来,形成一个复杂的动作流。
我们的简单测试不会模拟那些用户行为。因此如果一个简单的动作引起了另外一个动作的失败,我们的简单测试不会找到那个bug…因此,我们需要使用复杂序列的、以前未使用过的测试,在这方面猴子比人更有效。
猴子测试就是百般刁难,乱按一通,系統也不能宕机或者数据出现差错,这样才能称得上是经得起考验的程序。
二、monkey测试的优缺点
2.1 优点
简单易用,方便快捷,并且理论上可以测试到所有bug,因为理论上只要次数最够多,所有事件都会发生。
2.2缺点
-
遍历界面有限。 在monkey测试中,由于事件的随机性,使得monkey容易卡在某些简单页面,比如登陆页面这种可操作内容很少的页面。导致测试效果不佳。测试有效性大打折扣。
-
无法得知Bug的复现步骤。由于Monkey的随机性,如果Bug是由于事件发生的特定序列产生的,往往很难复现Bug。
-
路径回环。由于monkey太过随机,最后根本无法控制,很容易陷于一个页面无法出来,或者陷入某个无关紧要的地方无法出来,导致测试结果并不具有很好的意义。这也是导致遍历界面有限的原因。
2.3 解决方案
2.3.1 二次开发
对monkey进行二次开发,例如maxin,可以通过一些黑白名单控制,或者输入指定事件流,或者指定不同的测试随机模式,深度优先或者控件识别等,同时加入一些熔断机制,在一个地方执行了太多次后可以自动触发熔断并拉起。但是这样还是会进入死循环,因为仍然不能解决路径回环的问题。
2.3.2 指定测试页面
我们可以指定测试哪些页面,但是发现如果指定某几个Activity,虽然不会陷入路径回环,但随机的意义又不是那么大了,如果在几个页面进行随机,并且页面深度不是很深,那一直在这些页面测试也没有多大意义
2.3.3 调整各种事件的比例
我们可以根据应用的特点,适当调整各种事件的比例,adb也提供了这样的命令参数。
--pct-trackball <percent>
作用:调整滚动球事件百分比。(滚动球事件由一个或多个随机的移动事件组成,有时会伴随着点击事件)如不规则滑动解锁
--pct-nav<percent> 导航,现在手机基本没有导航了
---pct-syskeys<percent> 按键消息比例,主页、后退、音量增减
--pct-anyevent<percent> 其他不常用的按键比例的设置,不常用
2.3.3 编写自定义测试脚本
Monkey测试产生以上问题的原因就是太随机了,所以我们如果降低甚至抑制这种随机性,就可以避免上述的问题,调整各种事件的比例虽然降低了随机性,但仍可能存在上述问题。基于这个原因,我们可以编写特定的脚本,让事件依据我们设定的顺序发生,这样就可以解决上述问题:由于我们可以设定事件发生顺序,自然可以到达任意深度的页面,也可以定位出Bug。
但这种方式只适用于我们已经有明确的思路,特别想测试APP中某些功能。
2.3.4 分析APP特性,选择合适的方案
可以看出,测试的随机性和上述问题的解决是很难兼得的,我们必须根据我们应用的特性选择合适的方案。
对于页面功能不多,控件简单的应用,我们可以采用自定义脚本进行测试,因为在这种情况下测试所有功能也是可能的。
对于页面结构比较规律的应用,比如直播软件,每个页面结构相对固定(直播间都长一样),或者电商app(每种商品的页面大致相同)。由于随机性,所以点击不会一直在同一个地方进行点击,所以不容易一直卡在同一个页面。
三、monkey测试的基本过程
3.1 环境准备
3.1.1环境
- 电脑系统:window10
- 手机系统:android 10
- JDK版本:1.8
- SDK版本:1.0.41
3.1.2 配置过程
每台android手机里都有Monkey工具,但是我们是看不到的,因为,Monkey不是一个可视化的工具。我们需要借助ADB才能与Monkey进行通讯。
ADB全名为Android Debug Bridge ,安卓调试桥,是实现电脑设备和手机沟通的桥梁。在开始Monkey测试之前,我们需要搭建环境。第一个前提条件就是安装Java JDK,第二个条件就是安装android SDK。
- 下载jdk 具体安装流程参考:https://blog.csdn.net/write6/article/details/79136388
- 再下载sdk 具体安装流程参考:https://blog.csdn.net/u011541946/article/details/77142045
配置成功后,打开cmd,输入以下命令:
adb
出现以下画面:
表示配置成功。
3.2 测试adb程序
3.2.1 连接设备
配置成功后,打开手机的开发者模式,然后打开USB调试,并用数据线连接手机和电脑,然后在cmd中输入以下命令
adb devices
出现以下画面,表示连接成功
3.2.2 获取包名
方法一:
在cmd中输入以下命令
adb shell pm list packages
可以查看手机所有的安装包(以下只显示部分)可以通过名称找出你要评测的包
方法二
输入
adb shell pm list packages -3
可以查看手机上所有的第三方安装包,可以通过名称找出你要评测的包
方法三
输入命令
adb shell logcat|findstr "Displayed
同时打开待测的APP,出现以下画面,这里以今日头条为例
其中com.ss.android.article.news
表示包名之后是APPactivity,可用于自动化评测。
3.2.3 使用monkey测试
对整机进行测试
使用adb shell monkey -v 100
对整机进行测试
对指定应用进行测试
找到包名然后使用一个简单的命令进行monkey测试,
adb shell monkey -p com.ss.android.article.news -v -v -v 100
其中
-p
表示指定测试的程序
-v
表示查看monkey的执行日志,其中-v
越多,表示信息越详细。
其分别对应三个等级:
Level 0(缺省值)
除启动提示、测试完成和最终结果之外,提供较少信息。
Level 1
提供较为详细的测试信息,如逐个发送到Activity的事件。
Level 2
提供更加详细的设置信息,如测试中被选中的或未被选中的Activity
100
表示执行的测试事件为100个
执行后会出现详细的信息,同时会发现,手机App界面自动进行了100次随机操作。
3.2.4 日志内容解析
Monkey运行时输出的日志一般包含四类信息,分别是测试命令信息、伪随机事件流信息、异常信息、Monkey执行结果信息。
测试命令信息
-----随机种子,执行事件的数目-----
:Monkey: seed=1639214805777 count=100
-----可运行的应用列表-----
:AllowPackage: com.ss.android.article.news
-----表示启动的活动-----
:IncludeCategory: android.intent.category.LAUNCHER
:IncludeCategory: android.intent.category.MONKEY
-----表示打开的活动-----
// Selecting main activities from category android.intent.category.LAUNCHER
// Seeded: 1639214805777
-----各事件的百分比-----
// Event percentages:
// 0: 15.0%
// 1: 10.0%
// 2: 2.0%
// 3: 15.0%
// 4: -0.0%
// 5: -0.0%
// 6: 25.0%
// 7: 15.0%
// 8: 2.0%
// 9: 2.0%
// 10: 1.0%
// 11: 13.0%
日志中会显示进行各种操作的百分比:其含义会随着Android版本的不同而不同,为了了解其含义,首先使用如下命令查看Android版本
adb shell getprop ro.build.version.release
我的查询结果为
通过阅读对应版本的money源码中的MonkeySourceRandom.java文件,可以看到其Event序列是
public static final int FACTOR_TOUCH = 0;
public static final int FACTOR_MOTION = 1;
public static final int FACTOR_PINCHZOOM = 2;
public static final int FACTOR_TRACKBALL = 3;
public static final int FACTOR_ROTATION = 4;
public static final int FACTOR_NAV = 5;
public static final int FACTOR_MAJORNAV = 6;
public static final int FACTOR_SYSOPS = 7;
public static final int FACTOR_APPSWITCH = 8;
public static final int FACTOR_FLIP = 9;
public static final int FACTOR_ANYTHING = 10;
public static final int FACTORZ_COUNT = 11; // should be last+1
所以对应的事件解释为
// 0: 15.0% 触摸事件TOUCH,--pct-touch
// 1: 10.0% 手势事件MOTION, --pct-motion
// 2: 2.0% 两指缩放事件PINCHZOOM,--pct-pinchzoom
// 3: 15.0% 轨迹球事件TRACKBALL,--pct-trackball
// 4: -0.0% 屏幕旋转事件ROTATION, --pct-rotation
// 5: 25.0% 基本导航事件nav, --pct-nav
// 6: 15.0% 主要导航事件majornav, --pct-majornav
// 7: 2.0% 系统按钮事件sysops, --pct-syskeys
// 8: 2.0% 启动activity事件appswitch, --pct-appswitch
// 9: 1.0% 键盘轻弹事件flip, --pct-flip
// 10: 13.0% 其它事件,包括按键和不常用的按键,--pct-anyevent
伪随机时间流信息
Monkey开始执行测试后,会顺序输出执行的事件流信息。
-----跳转到com.android.article.news里的activity.MainActivity这个活动-----
:Switch: #Intent;action=android.intent.action.MAIN;category=android.intent.category.LAUNCHER;launchFlags=0x10200000;component=com.ss.android.article.news/.activity.MainActivity;end
-----允许启动com.android.article.news里的activity.MainActivity这个活动-----
// Allowing start of Intent act=android.intent.action.MAIN cat=[android.intent.category.LAUNCHER] cmp=com.ss.android.article.news/.activity.MainActivity in package com.ss.android.article.news
-----延迟(可以在命令参数中设置延迟)-----
Sleeping for 0 milliseconds
-----触摸事件-----
:Sending Touch (ACTION_DOWN): 0:(842.0,1801.0)
-----基本导航事件-----
C:\\Users\\86156>adb shell monkey -p com.ss.android.article.news -v -v -v 100
异常信息
当Monkey执行过程中遇到错误时,会输出对应的异常信息。由于本次实验的软件没有遇到错误,所以没有输出信息。
执行结果信息
-----产生了100次事件-----Events injected: 100-----表示屏幕旋转信息-----:Sending rotation degree=0, persist=false-----表示丢弃的事件信息-----:Dropped: keys=1 pointers=0 trackballs=0 flips=0 rotations=0-----网络状态-----## Network stats: elapsed time=700ms (0ms mobile, 0ms wifi, 700ms not connected)----最终执行结果-----// Monkey finished
3.3脚本自动化测试
3.2中实现了使用monkey进行随机测试的过程,但有时候我们需要根据我们的需求进行测试,这时候就要设计特定的测试样例。
monkey提供了一系列脚本命令以便于我们根据需求设计测试样例,主要有
LaunchActivity(pkg_name, cl_name): 启动应用,第一个参数DispatchPress(keycode): 向系统发送一个固定的按键事件;例如home键,back键;参数是按键值 ,按键值可查看keycodeUserWait:让脚本的执行暂停一段时间,做一个等待操作RotateScreen(rotationDegree, persist): 翻转屏幕,第一个参数是旋转角度,第二个是旋转后是否停在当前位置Tap(x, y) :单击事件,点击屏幕,参数是点击坐标Drag(xStart, yStart, xEnd, yEnd) :在屏幕上滑动,坐标是从哪一点滑到哪一点DispatchString(input): 输入字符串RunCmd(cmd) :执行shell命令,比如截图 screencap -p /data/local/tmp/tmp.pngDispatchFlip(true/false) :打开或者关闭软键盘UserWait(sleepTime) :睡眠指定时间
3.3.1需求分析
本次实验中主要实现以下测试案例:
打开今日头条,点击搜索框,输入"abc",然后点击搜索。播放第一视频,并在播放过程中调整音量(增大和减小)。
通过资料中的脚本命令可知,输入字符串可以是使用DispatchString(input)
函数,但我们还要点击搜索框和搜索按键,所以要获取对应按键的坐标。最后可以使用RunCmd(Cmd)
进行截图。
3.3.2 获取坐标
在保持设备连接的情况下。执行以下命令获取当前事件,
adb shellgetevent
然后点击屏幕对应区域,可以看到如下信息
有四列信息,分别为:设备名称,Code,Type,Value.
Code是指:该事件是什么。
Type是指:事件的相关参数
Value是指:事件参数的值。
code值:
0003—>绝对坐标
0000—>同步事件。代表某一操作的完成。
0001—>key_broad。
0002—>相对坐标。
Type值,我们只关注两个值
0035—>绝对坐标X
0036—>绝对坐标Y
value:表示对应的值
例子中点击的坐标为(0x1d2=466,0xad=173)
3.3.3编写脚本
根据需求已经获取的信息,编写以下脚本
# Start of Script type= user count= 10 speed= 1.0 start data >> #open the appLaunchActivity(com.ss.android.article.news, com.ss.android.article.news.activity.MainActivity) UserWait(8000)Tap(576, 239)UserWait(2000) DispatchString(abc)UserWait(2000) Tap(1298, 216)UserWait(2000) Tap(746,1277)UserWait(8000) #turn up and down the volumeDispatchPress(24)UserWait(1000) DispatchPress(24)UserWait(1000) DispatchPress(24)UserWait(1000) DispatchPress(24)UserWait(1000) DispatchPress(24)UserWait(3000) DispatchPress(25)UserWait(1000) DispatchPress(25)UserWait(1000) DispatchPress(25)UserWait(1000)
3.3.4 执行脚本
因为Monkey是运行在设备上的,所以需要将脚本先传到设备上,
通过adb push monkey.txt sdcard/monkey.txt
将文件推送到手机sd卡上
然后通过adb shell monkey -f sdcard/monkey.txt -v 1
执行脚本文件
执行日志如下:
可以看到,每个事件都成功执行了。
monkey 进阶使用手册,monkey随机测试后怎么定位问题
1.程序无响应,ANR问题:在日志中搜索“ANR”
2.崩溃问题:在日志中搜索“CRASH”
3.其他问题:在日志中搜索”Exception”
搜索了一下,发现无1,2问题,但又一个Exception异常
Got IOException performing flipjava.io.IOException: write failed: EINVAL (Invalid argument)
// Injection Failed
百度后,发现别人这样解释的:monkey发送各种事件操作app,中间有一个io异常,但是并没有堆栈,所以没有任何意义。
如果在这里发现monkey崩溃日志,应该要看monkey当时执行了什么事情,自己手动执行看看是否出现,如果不出现,再次使用相同的seed和相同的页面,再次启动app monkey再来一次随机测试,如果没有出现,证明次问题是偶然性问题。
3.adb logcat查看安卓日志
记得只查看并过滤自己操作的app日志,不过在屏幕上输出并不好找出问题,最好把它输出到text文件再查看
命令如下:
adb logcat -v time | findstr vchat.faceme >C:\Users\admin\Downloads\TESTER\monkey_log\andriod_log.txt
一样的搜索关键字ANR/CRASH/Exception 查看日志异常
搜索到一个崩溃和一个异常:
08-13 11:09:27.658 D/CrashReport(15779): >>> vchat.faceme.ui.personal.PersonalSettingActivity onResumed <<<
08-12 20:12:20.073 D/Error ( 4763): ERR: stack=android.util.Log$TerribleFailure: {"ptid":"4763-1*","stack":"java.lang.NumberFormatException: Invalid long: \"gp-500108\"\\n\tat java.lang.Long.invalidLong(Long.java:124)\\n\tat java.lang.Long.parse(Long.java:363)\\n\tat java.lang.Long.parseLong(Long.java:353)\\n\tat java.lang.Long.parseLong(Long.java:321)\\n\tat vchat.common.util.IMDecodeUtil.decodeContactByTargetId(IMDecodeUtil.java:96)\\n\tat vchat.faceme.message.adapter.MessageListAdapter.convert(MessageListAdapter.java:65)\\n\tat vchat.faceme.message.adapter.MessageListAdapter.convert(MessageListAdapter.java:47)\\n\tat com.chad.library.adapter.base.BaseQuickAdapter.onBindViewHolder(BaseQuickAdapter.java:937)\\n\tat com.chad.library.adapter.base.BaseQuickAdapter.onBindViewHolder(BaseQuickAdapter.java:66)\\n\tat androidx.recyclerview.widget.RecyclerView$Adapter.onBindViewHolder(RecyclerView.java:6890)\\n\tat androidx.recyclerview.widget.RecyclerView$Adapter.bindViewHolder(RecyclerView.java:6932)\\n\tat androidx.recyclerview.widget.RecyclerView$Recycler.tryBindViewHolderByDeadline(RecyclerView.java:5852)\\n\tat androidx.recyclerview.widget.RecyclerView$Recycler.tryGetViewHolderForPositionByDeadline(RecyclerView.java:6119)\\n\tat androidx.recyclerview.widget.RecyclerView$Recycler.getViewForPosition(RecyclerView.java:5958)\\n\tat androidx.recyclerview.widget.RecyclerView$Recycler.getViewForPosition(RecyclerView.java:5954)\\n\tat androidx.recyclerview.widget.LinearLayoutManager$LayoutState.next(LinearLayoutManager.java:2226)\\n\tat androidx.recyclerview.widget.LinearLayoutManager.layoutChunk(LinearLayoutManager.java:1557)\\n\tat androidx.recyclerview.widget.LinearLayoutManager.fill(LinearLayoutManager.java:1517)\\n\tat androidx.recyclerview.widget.LinearLayoutManager.onLayoutChildren(LinearLayoutManager.java:612)\\n\tat androidx.recyclerview.widget.RecyclerView.dispatchLayoutStep2(RecyclerView.java:3990)\\n\tat androidx.recyclerview.widget.RecyclerView.onMeasure(RecyclerView.java:3402)\\n\tat android.view.View.measure(View.java:18831)\\n\tat androidx.constraintlayout.widget.ConstraintLayout.internalMeasureChildren(ConstraintLayout.java:1248)\\n\tat androidx.constraintlayout.widget.ConstraintLayout.onMeasure(ConstraintLayout.java:1593)\\n\tat android.view.View.measure(View.java:18831)\\n\tat vchat.common.widget.MyDrawerLayout.onMeasure(MyDrawerLayout.java:1115)\\n\tat android.view.View.measure(View.java:18831)\\n\tat androidx.constraintlayout.widget.ConstraintLayout.internalMeasureChildren(ConstraintLayout.java:1248)\\n\tat androidx.constraintlayout.widget.ConstraintLayout.onMeasure(ConstraintLayout.java:1593)\\n\tat android.view.View.measure(View.java:18831)\\n\tat android.view.ViewGroup.measureChildWithMargins(ViewGroup.java:5990)\\n\tat android.widget.FrameLayout.onMeasure(FrameLayout.java:194)\\n\tat androidx.appcompat.widget.ContentFrameLayout.onMeasure(ContentFrameLayout.java:143)\\n\tat android.view.View.measure(View.java:18831)\\n\tat android.view.ViewGroup.measureChildWithMargins(ViewGroup.java:5990)\\n\tat android.widget.LinearLayout.measureChildBeforeLayout(LinearLayout.java:1465)\\n\tat android.widget.LinearLayout.measureVertical(LinearLayout.java:748)\\n\tat android.widget.LinearLayout.onMeasure(LinearLayout.java:630)\\n\tat android.view.View.measure(View.java:18831)\\n\tat android.view.ViewGroup.measureChildWithMargins(ViewGroup.java:5990)\\n\tat android.widget.FrameLayout.onMeasure(FrameLayout.java:194)\\n\tat android.view.View.measure(View.java:18831)\\n\tat android.view.ViewGroup.measureChildWithMargins(ViewGroup.java:5990)\\n\tat android.widget.LinearLayout.measureChildBeforeLayout(LinearLayout.java:1465)\\n\tat android.widget.LinearLayout.measureVertical(LinearLayout.java:748)\\n\tat android.widget.LinearLayout.onMeasure(LinearLayout.java:630)\\n\tat android.view.View.measure(View.java:18831)\\n\tat android.view.ViewGroup.measureChildWithMargins(ViewGroup.java:5990)\\n\tat android.widget.FrameLayout.onMeasure(FrameLayout.java:194)\\n\tat com.android.internal.policy.PhoneWindow$DecorView.onMeasure(PhoneWindow.java:26
出现了一个崩溃异常,给开发反馈后,开发果然知道是出现了什么问题,然后正在看,对我来说,合适蛮有成就感的哈哈哈
停止monkey的办法:
注意 Monkey启动后会不断地向被测对象发送随机事件流,直到事件执行完毕或者发生异常时才停止。在Monkey运行过程中,即便断开 与PC的连接,Monkey依然可以在手机上继续运行。
停止Monkey的方法是:直接杀掉手机上的Monkey进程。具体方法如下:
adb shell 进入脚本界面
shell界面输入
ps |grep monkey
获取到com.android.commands.monkey的进程ID
kill pid进程号
使用monkey查看app是否有内存泄露:
adb shell monkey -p vchat.faceme --pct-touch 100 --throttle 1000 -s 100 -v -v 50 >C:\Users\admin\Downloads\TESTER\monkey_log\java_monkey_log.txt
adb shell 查看进程内存
dumpsys meminfo 后面有点难,后面再看好了
以上是关于使用Monkey进行软件测试(随机测试+脚本测试)的主要内容,如果未能解决你的问题,请参考以下文章