《2016上半年APP测试白皮书》：平均每款应用存在41个问题

Posted 2020-08-08

 

 

2016年已过半，目前，经过几年高速发展后的国内市场移动互联网用户量已经趋于饱和，这让想要在该行业先发制人、出奇制胜的机会已经一去不复返。究竟App如今存在哪些方面的质量问题，不同类别的应用需要关注的内容是否相同？看似普通的兼容性测试又有哪些被人忽略却至关重要的关键点？这些问题就是阻碍你在这片拼杀激烈的商业红海中站住脚跟的关键。

继《2016年上半年手游测试数据分析报告》后，TestBird再次重磅推出《2016上半年App测试白皮书》(以下简称白皮书)，希望通过上半年总共测试的20806款App 数据，为您直观的展示App行业目前的质量概况，以期在您未来的市场发展和趋势判断中提供一些力所能及的帮助。

20806款APP数据14类应用，深入解析APP问题分布

一款能够长驻市场的应用必须保证质量和进行大量的性能优化，但不同类型的APP存在着不尽相同的质量问题，而了解各个类型APP主要的问题关键点在哪儿，我们才能够顺利地打造出一款成功的产品。

2016上半年， TestBird测试了20806款APP，涵盖了“系统工具、通讯社交、影音视听、新闻阅读、生活休闲、办公商务、摄影摄像、购物优惠、地图旅游、教育学习、金融理财、健康医疗、游戏娱乐以及其他”14类应用。

白皮书对这14类APP的测试数据进行详细的分析，譬如游戏娱乐、影音视听应用对手机的性能要求较其他类应用要高；摄影摄像类应用所发生的UI异常问题、程序异常问题也是最为严重的等等。

四大角度定义测试标准，详细剖析应用质量

2016上半年，TestBird测试了20806款APP，发现APP质量问题主要集中在APP与终端的兼容适配性、APP的功能以及终端的性能三个方面，同时由于APP使用对移动网络的依赖，加上移动网络的复杂和多变，客户在使用APP时频繁的面临网络切换问题，对APP的使用体验也有重要的影响。故而白皮书对APP质量问题从影响最关键和高频的功能测试、兼容性测试、网络测试和性能测试四个角度进行了详细的研究。

首先在兼容性测试方面，白皮书对将兼容性问题详细的分为安装失败、启动失败、闪退、卡顿、卡死、黑屏、数据异常、UI异常、连接异常和程序异常10大类，并对每类问题进行了标准定义。同时还结合CPU品牌、内存大小以及安卓版本等终端角度，对兼容性问题机型了交叉分析。

 

其次，APP功能使用是否正常，是影响用户体验的最关键因素之一，针对功能测试方面，白皮书从注册登录模块、定位服务模块、社交模块、个人信息管理模块和其他模块5个维度进行了分析分类阐述。同时，还对功能问题对用户体验的影响程度进行了详细的分级。

 

而针对APP网络测试方面，白皮书对常见的网络切换状况进行了分类，并对每种状况下出现的问题进行了详细阐述。同时还从APP类型的角度，对不同类型APP都在弱网条件下的测试和问题发生情况进了分类分析，完整展现了网络环境对APP质量的影响。

 

一款应用的性能是否良好，主要来源于应用运行过程中的CPU占用率、内存占用值、温度、启动时延、流量数据等，通过这五项数据可以很好的反应一款应用的性能表现。所以，白皮书对5个角度进行了标准化的定义和详细的数据分析。

 

 

平均每款APP 41个问题，程序闪退高达51%

2016上半年，TestBird在测试的20806款APP中总共发现864578个问题，平均每款APP存在41个问题，在14类应用中，地图旅游、游戏娱乐两种类型的APP平均问题检出数量最多，分别为63和61个。

 

▲每类应用平均问题检出数量

在各类兼容性问题分析中，白皮书统计显示闪退、UI异常、程序异常是兼容性问题占比最高的3大类问题，其中闪退问题占比最高，达到51.65%。

 

▲各类兼容性问题检出率

在功能性问题的研发上，白皮书的分析显示，有1/4的问题都发生在注册登录模块，重点体现为第三方账号登录失败。从问题的严重程度上来看，大量的Bug中，会影响到用户正常操作的A、B、C级问题合计将近80%，所以功能测试问题需要引起开发者的高度重视。

 

▲问题模块分布统计

在APP网络问题分析中，白皮书显示，服务器交互失败、掉线、数据获取异常等情况易发生在通信社交类、地图旅游类与生活休闲类APP上。而画面时延增加、画面卡顿以及无响应情况常发生于游戏娱乐类应用上。

在APP的性能指标分析上，白皮书统计发现，在CPU占用率上，游戏娱乐类最高，健康医疗类最低；启动时延方面，购物优惠类最大，其他类型最小；内存占用上，购物优惠类最高，金融理财类最低；而在平均流量消耗上，摄影摄像类应用最大，健康医疗类应用则最小；手机平均温度方面则是购物优惠类应用最高，系统工具类最低

4000款终端数据交叉分析，小米终端问题最少

目前，市面上安卓终端碎片化极其严重，而相应兼容性问题也随着增加，TestBird通过对 4000款测试手机，历经20000余款APP测试后，通过深度的交叉分析为大家总结出了分辨率、CPU、内存等方面对APP质量问题的影响，并期望开发者能够通过这些数据对测试机型进行相应的筛选，做针对性的测试。

从白皮书的数据来看，在众多终端品牌中，大部分主流品牌的兼容性整体较好，相对而言，小米的问题数最少。从系统版本上分析，Android 5.1的兼容性情况最好，4.1的兼容性问题最严重；在内存方面，4GB内存是一个分水岭，4GB以上内存容量的问题检出率稳定在8.44%左右，小于4G的手机，内存不足引起的问题较多；而在CPU品牌上，展讯出现的兼容性问题较多，问题检出率高达32%，我们熟知的联发科和高通两大类CPU品牌兼容性问题检出率相当，分别为9.6%和9.2%。

在ios系统方面，白皮书也进行了专项的研究，发现2016年上半年平均每款程序IOS兼容性测试检测出8个以上问题，其中在系统层面上来说，IOS7问题检出率达到22.84%，普遍高于IOS8和IOS9；在机型上，iphone6的问题检出率达到12.59%，仅次于iphone4和iphone4s，高于其他机型。另外，相对于iphone，ipad问题检出率明显提高，其中mini1和mini2兼容性问题最为突出。

 

▲iphone手游测试问题检出率

 

▲ipad测试问题检出率

 

每款智能硬件105个问题，软硬件链接最突出

目前智能硬件市场迎来爆发式的增涨，智能硬件的测试和质量问题亦越来越受产商的重视，白皮书总结了TestBird上半年测试过151款智能硬件的经验，专门就智能硬件测试进行了系统的分析。

白皮书将智能硬件分为智能穿戴设备，智能家居，健康医疗，车联网，人工智能，运动休闲，影音娱乐和其他8个类别，其中智能家居市场占比最多，达到22.15%。

 

▲智能硬件各类型占比

同时，智能硬件的质量问题也比较突出，上半年TestBird在智能硬件上一共发现了15925个问题，平均每款智能硬件问题数量达到105个以上，其中还发现，硬件本身问题占比是最少的，反而软硬件链接问题最多，这无疑需要引起广大智能硬件厂商的注意和重视。

 

▲智能硬件问题占比

新增实操案例，全干货指导APP质量提升

《2016年APP测试白皮书》不仅给行业带来了一些测试经验和干货内容，帮助开发者在进行APP测试时更有目的、有针对性的入手，而且还新增了兼容性测试、功能测试以及智能硬件测试等大量不同类别的实操案例与测试日志Q&A，并期望通过更加直观的描述，为广大开发者提供一定的参考借鉴。

另外，在白皮书最后，TestBird依然毫无保留地针对APP各项测试问题，叙述了详尽的解决方案。譬如针对兼容性问题中最为严重的程序闪退情况，白皮书中对问题发生的原因进行了归纳并给出了相应的解决建议：

我们测试中发现APP闪退问题是所有兼容性问题中出现最多的问题，闪退问题出现场景各不相同，常见原因因为内存不足、温度过高、系统不兼容、CPU不兼容等。开发人员可以根据这几种现象分析定位原因，找到闪退原因后根据需求优化。

 

正是由于TestBird稳扎稳打，在占有70%手游市场后，凭其测试技术的累积和测试经验的丰富，顺利将业务拓展至整个APP领域，并通过2016上半年测试多达20806款的APP，整合分析的864578个测试问题，最终顺利推出了《2016上半年APP测试白皮书》，全面直观地展示了App行业目前的质量概况，并望以此与广大测试同胞一起分享 。

申请下载《2016上半年APP测试白皮书》完整版，请点击：https://jinshuju.net/f/6fxt2F