如何使用 FsCheck 生成随机数作为基于属性的测试的输入

Posted 2023-03-12

【中文标题】如何使用 FsCheck 生成随机数作为基于属性的测试的输入

【英文标题】：How to use FsCheck to generate random numbers as input for property-based testing

【发布时间】：2017-04-16 20:59:39

【问题描述】：

我认为是时候尝试 FsCheck 了，但事实证明它比我想象的要难。有很多关于Arb、生成器等的文档，但似乎没有任何关于如何应用这些知识的指导。或者我只是不明白。

可能更难理解的是，我不清楚测试、属性、生成器、任意值、收缩以及随机性（一些测试会自动生成随机数据，而其他测试不会）之间的关系。我没有 Haskell 背景，所以也没有用。

现在的问题是：如何生成随机整数？

我的测试场景可以解释乘法的性质，比如说分布性：

static member  ``Multiplication is distributive`` (x: int64) y z =
    let res1 = x * (y + z)
    let res2 = x * y + x * z

    res1 = res2

// run it:
[<Test>]
static member FsCheckAsUnitTest() =
    Check.One( Config.VerboseThrowOnFailure with MaxTest = 1000 , ``Multiplication is distributive``)

当我使用 Check.Verbose 或 NUnit 集成运行它时，我得到如下测试序列：

0:
(-1L, -1L, -1L)
1:
(-1L, -1L, 0L)
2:
(-1L, -1L, -1L)
3:
(-1L, -1L, -1L)
4:
(-1L, 0L, -1L)
5:
(1L, 0L, 2L)
6:
(-2L, 0L, -1L)
7:
(-2L, -1L, -1L)
8:
(1L, 1L, -2L)
9:
(-2L, 2L, -2L)

经过 1000 次测试，它还没有超过 100L。不知何故，我想象这将“自动”选择均匀分布在整个int64 范围内的随机数，至少我是这样解释文档的。

既然没有，我开始尝试并想出了如下愚蠢的解决方案来获得更高的数字：

type Generators = 
    static member arbMyRecord =
        Arb.generate<int64>
        |> Gen.where ((<) 1000L)
        |> Gen.three
        |> Arb.fromGen

但这变得异常缓慢，显然不是正确的方法。我确信一定有一个我缺少的简单解决方案。我尝试使用Gen.choose(Int64.MinValue, Int64.MaxValue)，但这只支持整数，而不支持长整数（但即使只有整数我也无法让它工作）。

最后，我需要一个适用于所有原始数字数据类型的解决方案，包括它们的最大值和最小值、零和一，以及从其中的任何内容中随机选择。

【问题讨论】：

我认为它最初限制了最大值。到 100，请参阅：fscheck Q

@s952163，是的，这就是我尝试使用MaxTest = 1000 的原因，请参见上面的代码。但这无济于事。也许您的意思是 StartTest 和 EndTest 值，但将它们设置为 Int32.MinValue/MaxValue 会产生 all 排列使用 Int32.MinValue 作为常量值的效果。

【参考方案1】：

如this other FsCheck question 中所述，大多数Check 函数的默认配置为EndSize = 100。您可以增加该数字，但也可以按照您的建议使用Gen.choose。

尽管如此，int 生成器是intentionally well-behaved。例如，它不包括 Int32.MinValue 和 Int32.MaxValue，因为这可能导致溢出。

不过，FsCheck 也带有生成器，可以在整个范围内为您提供均匀分布：Arb.Default.DoNotSizeInt16、Arb.Default.DoNotSizeUInt64 等等。

对于浮点值，有Arb.Default.Float32，根据其文档，它生成“任意浮点数、NaN、NegativeInfinity、PositiveInfinity、Maxvalue、MinValue、Epsilon 包含相当频繁”。 p>

对于任何数字都没有统一的 API，因为 F# 没有类型类（这是你可以在 Haskell 中表达的东西）。

另外，我不确定您的典型单元测试框架是否能够运行通用测试，但至少对于 xUnit.net，您可以使用 this trick to run generically typed tests。

---

不过，具体来说，您可以使用 FsCheck.Xunit 像这样编写上述测试：

open FsCheck
open FsCheck.Xunit

[<Property>]
let ``Multiplication is distributive`` () =
    Arb.generate<DoNotSize<int64>>
    |> Gen.map (fun (DoNotSize x) -> x)
    |> Gen.three
    |> Arb.fromGen
    |> Prop.forAll <| fun (x, y, z) ->

        let res1 = x * (y + z)
        let res2 = x * y + x * z

        res1 = res2

这可能会因溢出而失败，但在运行了大约 1,000,000 个案例之后，我还没有看到它失败。

然而，生成器确实看起来像是从整个 64 位整数范围中挑选值：

> Arb.generate<DoNotSize<int64>> |> Gen.sample 1 10;;
val it : DoNotSize<int64> list =
  [DoNotSize -28197L; DoNotSize -123346460471168L; DoNotSize -28719L;
   DoNotSize -125588489564554L; DoNotSize -29241L;
   DoNotSize 7736726437182770284L; DoNotSize -2382327248148602956L;
   DoNotSize -554678787L; DoNotSize -1317194353L; DoNotSize -29668L]

请注意，即使我将Gen.sample 的size 参数绑定到1，它也会“任意”选择较大的正值和负值。

【讨论】：

感谢您的指点和解释。由于我正在测试可以采用某些数字类型的全部范围的算法的行为，因此我有兴趣将其用作输入，并且任何溢出或下溢都将是一个错误。我仍然不确定如何获得包含[0;1;-1;MinValue;MaxValue] 的所有组合的三向排列，如果测试计数有剩余，中间的任意值（就像Arb.Default.Float32 的样式一样）。或者这正是Arb.Default.DoNoSitzeXXX 所做的？

您能否更新一个您认为正确的语法示例？我总是可以从那里拿走它，但现在我仍然卡住了。

@Abel 我在my blog 上有很多例子；这是one article that showcases how to use various Gen combinators。另一个起点是整个Types + Properties = Software 文章系列。

@Abel 您可以使用Gen.elements 从特定值创建生成器，您可以使用Gen.oneof 组合两个或多个生成器。这里有生成器和组合器的示例：fscheck.github.io/FsCheck/TestData.html 如果这还不够，请不要犹豫再问一个问题。这就是 Stack Overflow 的用途。

Gen.elements 和 Gen.oneof 是我需要的。再次感谢！