api 接口 fuzz 测试初探

Posted 2023-02-22

参考技术A

在日常测试工作中，经常会有api接口的测试，除了正向流程的测试之外，我们经常还需要覆盖一些异常情况。

例如：

事实上，我们组的接口测试demo框架中，在dataprovider中也经常能够看到诸如下面的例子。

此处是看看接口在传入非期望值的时候，能不能够很好的处理类似请求。

除此以外，还有一些和业务场景强相关的值类型，比如网络测试的时候，我们会关心cidr的格式；计费测试的时候，又特别关注数字的类型。

一方面，给每个接口增加类似的异常接口测试相对比较无趣；另一方面，我们作为人，考虑问题，不管是开发还是测试，都难免挂一漏万，有一些边边角角的case没能考虑到。

既然如此，我们能否统一抽象出来一种接口异常测试的框架， 自动 注入各种类型的异常，然后将凡是服务没有捕获的，抛出trace, exception 的，记录下请求的payload，为后续验证覆盖提供支撑。

主要使用了模糊测试技术（fuzz testing, fuzzing）。其核心思想是自动或半自动的生成随机数据输入到一个程序中，并监视程序异常，如崩溃，断言(assertion)失败，以发现可能的程序错误，比如内存泄漏。（摘抄之维基百科）

简单的模糊测试随机输入数据，而更加高效的模糊测试，需要理解对象结构或者协议。通过向数据内容，结构，消息，序列中引入一些异常，来人为的构造聪明的模糊测试。

如果你持续关注文件系统或内核技术，你一定注意过这样一篇文章：Fuzzing filesystem with AFL。Vegard Nossum 和 Quentin Casasnovas 在 2016 年将用户态的 Fuzzing 工具 AFL（American Fuzzing Lop）迁移到内核态，并针对文件系统进行了测试。

结果是相当惊人的。Btrfs，作为 SLES（SUSE Linux Enterprise Server）的默认文件系统，仅在测试中坚持了 5 秒钟就挂了。而 ext4 坚持时间最长，但也仅有 2 个小时而已。( https://zhuanlan.zhihu.com/p/28828826 )

所以基于此，在api接口测试中引入模糊测试理论上也是可行的，而且是有效的。

经过一番调研和搜索之后，发现了以下这个项目在接口fuzz测试中，有比较好的上手体验。

我对 PyJFAPI 稍微进行了一些修改，包括日志记录，以及异常判断的地方，只记录服务器返回500错误的情况等。

首先需要准本一个请求的模板。

这里是一个 post请求，定义了一些请求头和请求体。星号之间的请求json体，为异常注入点。
它会自动分析你的json格式，生成各种 payload。理论上来说，你只需要给它提供一份接口的scheme就行(要是所有接口都可以从Swagger直接导出那就很方便了)。

运行：

返回

我们可以手工请求一下这些导致异常的payload。
实例1：

事实上，我们本来已经对这个cidr参数进行了一些异常值的测试。包括：

等等。可以发现，还是有部分特殊情形没有考虑到。

实例2

我把程序构造的部分异常打印出来，可以看到类型还是很丰富的。

pjfapi.py 脚本本身使用方法很简单。 -h 看下help为命令行参数的基本说明。

本文简要的介绍了fuzz测试技术，以及将其应用到api接口测试中的实现，给出了一个具体的fuzz接口测试例子。它不一定能够完全替代掉人工的接口异常，但是可以作为一个很好的补充。