App性能测试之iTest

Posted 淘气的包子

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了App性能测试之iTest相关的知识,希望对你有一定的参考价值。

本文主要介绍下App性能测试工具iTest_V4.7的使用。

功能简介

1、监控Andorid系统(支持手机,平板,电视,车机等智能终端设备)以及应用app的cpu、内存、流量、电池、帧率、页面耗时等数据;

2、悬浮框实时显示被测应用或者整机的状态指标;

3、数据走势图展示统计结果;

4、数据自动保存至文本,可快速导入Excel;

5、支持多进程应用的性能监控,例如灵犀语音助手;支持单进程性能监控;支持自定义进程性能监控

6、支持性能监控告警;

7、支持手工测试和自动化测试,自动化测试时,可发送adb shell命令遥控iTest。

8、获取android底层的linux进程占用的cpu和内存。

9、支持查看设备基本信息、设备的动态信息

10、支持cpu模拟、内存模拟、弱网模拟等极限环境模拟

11、支持logcat日志本地获取

12、支持应用安装包离线分析

13、支持monkey

基本功能使用说明

1、手工测试方式

1) 授权

自android6.0以后,谷歌对权限做了一些管控,应用在需要用户授权的情况下,功能才能正常的运行;因此为了确保iTest能够正常的运行,请按照iTest提示对iTest进行授权:

        图1 存储、电话权限 

     图2 悬浮窗权限

        图3 Assist服务启动

    图4 辅助功能权限

      图5 开启GPU

2)用户注册登录功能

打开iTest应用后,页面跳转至登陆页面,请填写用户名密码进行登录。账号可以直接登录iTest服务端。

      图6 登录页面

如果没有登录账号,请点击注册按钮来进行用户注册,其中用户名、密码、邮箱是必选的,qq和微信可二者选一进行填写,注册完成后请登录邮箱激活账号。

     图7 注册页面

3)选择被监控的应用

进入首页,先点击“添加”按钮,从跳入的监控应用界面中找到并点击被测应用,或在搜索框中输入应用的名称,或者只输入应用名称中的个别文字,即可筛选。

       图8 首页

     图9 监控应用页面

4)选择监控指标

在首页中,指标默认已选择cpu、内存、网络三项,点击分享解锁后,可解锁更多指标以及小工具,请根据自己的场景测试需要,选择需要监控的指标

          图10 分享前指标

    图11 分享后指标

Cpu: 如果被测对象为整机,则数据表示为整机的cpu占用百分比;如果被测对象为应用,包含应用的CPU占用百分比与全局CPU占用百分比,对于单进程应用,该数据表示该应用的CPU占用情况;对于多进程应用,根据您设置的进程筛选规则,如果为根据包名筛选进程,该数据表示应用主进程的CPU占用情况,如果为根据uid筛选进程,该数据表示应用所有的进程cpu占用情况,如果为根据配置文件筛选进程,该数据表示配置的进程cpu占用情况,当发生进程切换时,iTest能够自动切换到新的进程数据。

 

内存:如果被测对象为整机,则数据表示为整机的内存占用情况和内存剩余情况;如果被测对象为应用,包含应用的内存占用与全局内存剩余情况,对于单进程应用,该数据表示该应用的内存占用情况;对于多进程应用,根据您设置的进程筛选规则,如果为根据包名筛选进程,该数据表示应用主进程的内存占用情况,如果为根据uid筛选进程,该数据表示应用所有的进程内存占用情况,如果为根据配置文件筛选进程,该数据表示配置的进程内存占用情况,当发生进程切换时,同cpu一样,iTest能够自动切换到新的进程数据。应用内存指标包括两部分,进程的PSS(Proportional Set Size,即实际使用内存)内存、Private Dirty(私有内存)内存。

 

网络:包含应用上下行速率与累计流量以及全局上下行速率与累计流量。属于应用维度数据,根据监控对象决定。点击右侧清零按钮可以清空累计数据。

 

电池:包含设备瞬时电流、电流均值以及电池的温度。属于全局维度数据。点击右侧清零按钮可以清空电流累计数据。

 

Cpu温度:该数据表示cpu的温度,属于全局维度数据,部分设备是以电池温度为准。

 

帧率:包含应用实际帧率,延迟帧数、1秒内单帧最长延迟时间与延迟帧数占所有帧数的百分比。属于应用维度数据,即根据当前窗口所在activity获取。目前iTest是根据设备gfxinfo信息计算1秒内超时帧时间,从而反推出实际帧率,所以在接近静止的情况下, 部分帧率可能显示有误。推荐在滑动或页面切换等动态场景下进行帧率测试。

 

响应耗时:包含应用点击的响应耗时与刷新耗时数据。属于应用维度数据,基于当前页面所在activity。用户点击控件(记录时间a)界面发生变化(记录时间b)页面停止变化(记录时间c),其中b-a为响应耗时,c-a为刷新耗时。

5) 进程筛选设置

进程筛选,在性能监控中,你或许只关注应用的主进程性能,或许你关注应用的所有进程性能,也或许你只关注应用所有进程中的几个进程的性能,那么如何才能做到这些场景下的性能监控呢?因此我们提供了以下几种进程筛选方式。

 根据包名筛选
通过包名获取到被监控应用的主进程,此时监控到的性能数据为应用主进程的性能数据

 根据uid筛选

通过包名获取到主进程后得到了主进程的uid,通过uid筛选出应用的子进程信息,通过此种方式,可以监控到应用的所有进程性能数据

 根据配置文件筛选

配置文件ThreadFilter.txt内容格式如图所示,FilterHead代表某App监控的开始部分,其中的内容每行代表一个进程,FilterTail代表该App监控的设置结束部分,当然对于多App和单app多进程监控需求同样适用。配置好ThreadFilter.txt文件后,需要将该文件放置到手机/sdcard/AndroidPropertyTool4/目录下即可,详细见ThreadFilter详解

6)场景设置

在启动性能监控前,在图7中标记处输入场景标记。

     图12 场景标记

7)其他设置

点击首页左上角的菜单图标,可进入菜单,见图8。点击“设置”即可选择您要设置的参数。见图9。

     

      图13 菜单图      

     14 设置界面

在图14中参数简介:

监控间隔:默认每隔1000毫秒记录一组数据;

显示悬浮框:悬浮框位于屏幕左上方,实时显示记录的数据,6.0以后系统需要将悬浮窗权限打开,进入iTest后,根据应用提示即可;

横屏显示:默认关闭,竖屏显示,

设置告警规则:触发告警条件,执行告警策略。

设置监控进程规则:默认根据uid进行筛选

8)启动监控/停止监控

点击“启动监控”按钮,测试开始,按钮自动变成“停止监控”;

点击“停止监控”按钮,测试停止,按钮自动变成“开始监控”。

 

9)查看数据走势图

在主页上,点击左上角的菜单按钮,或向右滑动屏幕进入菜单或者直接点击主页“趋势图”按钮,进入数据管理页面;

点击列表中的,查看数据趋势图;

点击数据走势图页面上方的下拉框选项,可以查看相应的数据走势图;

   

    图15 CPU图            

 

      图16 内存图

10)数据管理

数据存在android的外置存储空间中(一般是指/sdcard目录)

例如:

/sdcard/AndroidPropertyTool4/handTest/cup_com_baidu_BaiduMap.txt //被测应用的cpu

/sdcard/AndroidPropertyTool/handTest/cpuSystem.txt  //系统cpu

/sdcard/AndroidPropertyTool/ handTest/pss_com_baidu_BaiduMap.txt  //被测应用的private dirty内存

/sdcard/AndroidPropertyTool/ handTest/privateDirty_com_baidu_BaiduMap.txt  /被测应用的pss

/sdcard/AndroidPropertyTool/handTest/pssSystemLeft.txt  //系统剩余pss

/sdcard/AndroidPropertyTool/handTest/upflow_com_baidu_BaiduMap.txt  //上行速率

/sdcard/AndroidPropertyTool/handTest/downflow_com_baidu_BaiduMap.txt  //下行速率

/sdcard/AndroidPropertyTool/handTest/upflowSum_com_baidu_BaiduMap.txt  //上线累计

/sdcard/AndroidPropertyTool/handTest/downflowSum_com_baidu_BaiduMap.txt  //下行累计

/sdcard/AndroidPropertyTool/handTest/batteryAvg.txt  //平均电流

/sdcard/AndroidPropertyTool/handTest/batteryTemperature.txt  //电池温度

/sdcard/AndroidPropertyTool/handTest/batteryInstant.txt   //瞬时电流

/sdcard/AndroidPropertyTool/handTest/fps.txt

/sdcard/AndroidPropertyTool/handTest/fpsJunkCount.txt

/sdcard/AndroidPropertyTool/handTest/fpsMaxJunk.txt

/sdcard/AndroidPropertyTool/handTest/fpsJunkPercent.txt

/sdcard/AndroidPropertyTool/handTest/cpuTemperature.txt

/sdcard/AndroidPropertyTool/handTest/response.txt

/sdcard/AndroidPropertyTool/handTest/refresh.txt

/sdcard/AndroidPropertyTool/ handTest /uplaodSetting.json//上传功能的标记文件,可忽略

/sdcard/AndroidPropertyTool/handTest/upload.tmp //上传标记文件,可忽略

其中com_baidu_BaiduMap(百度地图)为被测试应用的包名。

备注:

系统会将旧数据文件保存在带时间戳的目录中,例如:

/sdcard/AndroidPropertyTool4 /handTest_2020-01-01-12-12-12-357 

在“数据管理”界面,可上传、查看、删除所有数据:

                  图17 数据管理界面

2、自动测试方式

本工具支持以adb shell命令的形式启动和运行。需要注意的是,office系列软件可能会更改命令中的字符,导致命令不可用!请手工输入命令,或从附带的command文本中复制;另外iTest启动后默认在未登陆的情况下进入登陆页面,因此确保已经登陆,并且将相关权限打开,具体见2.1.1授权介绍

1)启动首页

adb shell am start -a android.intent.action.MAIN -c android.intent.category.LAUNCHER –n iflytek.testTech.propertytool/.activity.BootActivity

2)开启监控

依次执行如下两条命令,注意替换红字部分:

adb shell am broadcast -a changedir --es savedir handTest(默认即是handTest目录,如不做修改,可忽略执行)

 

adb shell am broadcast -a monitorStart --es monitor cpu,pss,net,battery,cpuTemp,fps,response --es pkg com.example.test --ei interval 1000

 

monitor:监控的指标,多指标情况下使用英文逗号分隔(cpu, pss,net,battery,cpuTemp,fps,response)

pkg:包名, 可用英文的逗号分隔多个包名。

interval:间隔(毫秒)

3)结束监控

adb shell am broadcast -a monitorFinish

4)打开或者关闭悬浮窗,在开启监控前执行

adb shell am broadcast -a enableFloatWindow // 开启

adb shell am broadcast -a disableFloatWindow // 关闭

5)其他命令见command

其它功能

1、设备基本信息

从菜单中,点击“设备基本信息”,即可进入设备基本信息页面。点击导出按钮,设备基本信息可导出为txt文本。

   

   图18 展开的菜单图           

  19 设备基本信息页面

2、设备动态信息

从菜单中,点击“设备动态信息”,即可进入设备动态信息页面。点击导出按钮,设备动态信息可导出为txt文本。

注意,由于数据是动态获取并显示的,在部分数据的获取上比较耗时,请等待若干秒。

   图20 设备动态信息页面

3、意见反馈

如果发现工具的bug,或有任何改进意见,请从菜单中点击“意见反馈”,进入意见反馈页面来告知我们。也可以根据“关于”页面中提供的联系方式联系我们。谢谢!

   

    图21 意见反馈页面         

    图22 关于页面

4、工具箱

工具箱中包含了一些小工具,通过在首页完成分享后即可解锁更多的小工具

 

     图23 工具箱

5、发现

6、版本新增了发现功能,在这里你可以学习别人的玩法,也可以将自己的玩法发布供别人学习。

     

     图24 发现图  

 

    图25 添加发现

iTest数据上传功能

iTest服务端地址http://itest.iflytek.com/,iTest客户端默认是在连接有效的wifi且已经登录的情况下在性能监控结束的时候自动上传至服务端,如果没有登录,将会跳转至登录页面,完成登录后,在数据管理页面手动上传测试数据

iTest使用注意事项

1、常见问题

 电池电流,因MTK平台不区分充放电,都为负数;高通平台小于0处于放电状态,大于0为充电状态

 如果遇到监控cpu与top命令获取的不一样或者监控内存与dumpsys meminfo命令获取的不一样,在小范围内的误差是正常的不影响性能结果,若误差较大的情况下,请使用其他监控工具做对比

 由于流量监控功能不完善,导致耗电量统计时,无法统计UDP流量对应的耗电量。

 长时间运行后, iTest可能会被系统杀死。解决方案:将iTest.apk放置在/system/app目录下,并赋root权限。

 iTest受系统休眠影响,可能会暂停记录数据,请测试之前正确设置手机参数

 

2、FAQ

请参考《iTest常见问题解答(FAQ)》。

本文转载至:http://itest.iflytek.com/static/help/help.html

以上是关于App性能测试之iTest的主要内容,如果未能解决你的问题,请参考以下文章

求推荐一个测试APP端的性能测试工具(cpu,内存,流量)

移动性能测试工具iTest4.1今日发布 (2016-8-23)

app常见性能测试点

itest考试会录音吗

itest登录密码忘了怎么办

iOS测试-如何指标量化app耗电量和性能XCTest Metrics