浮点数的有效数字位数

Posted 2021-02-06 bluewanderer

过去有一种很普遍的说法是单精度浮点数的有效数字是6到7位。同时也有一个很普遍的问题就是：“6到7位是什么意思？到底是6位还是7位？”。现在似乎主流认知已经变成了单精度浮点数的有效数字就是7位。事实究竟是怎么样的？

先说结论

单精度浮点数可以保证7位10进制有效数字。如果一个数字用10进制表示时有效数字位数大于等于7位，那么用单精度浮点数记录的话，能确保至少正确记录前7位。
为什么说“至少”？比如，4294967296有10位10进制有效数字，但只有1位2进制有效数字(2进制表示是1后面32个0)。我们可以验证单精度浮点数是可以正确记录所有10位有效数字的。但上面只是特殊情况，对于随便给出的一个数，只有第7位和之前的有效数字是能确信正确的。

凭什么说就是7位，为什么不是6位、8位？

最简单的2进制的情况

首先，我假设我们知道一个单精度浮点数种有24位2进制的有效数字（不知道的同学，请先自行搜索IEEE 754)。很显然，对于有24位或者以上2进制有效数字的数，单精度浮点数能保证前24位。

再看看16进制

我们知道16进制的1位对应2进制的4位（不知道的同学，……姑且4位2进制数刚好有16种不同的情况）。2进制的24位刚好对应16进制的6位，也就是能保证6位16进制的有效数字。
但是假设我们只有23位2进制有效数字的话，那么我们就只能保证5位了。

接下来我们更具体地看一下。假设有16进制数(87654321_{(16)})，我们可以写成(8.7654321_{(16)} imes 16^7)。2进制的话，可以写成[1000.0111‘0110‘0101‘0100‘0011‘0010‘0001_{(2)} imes 2^{28}]如果我们只有24位2进制有效数字，则后面一部分有效数字无法记录，就成了[1000.0111‘0110‘0101‘0100‘0011_{(2)} imes 2^{28}]也就是(8.76543_{(16)} imes 16^7)。如果再减少1位2进制有效数字的话[1000.0111‘0110‘0101‘0100‘001_{(2)} imes 2^{28}]我们将只有3位2进制数001能用来表示最后1位16进制有效数字。我们知道，3位2进制数只有8种不同情况，无法区分16进制1位数的16种情况。更具体地，比如这样我们无法区分(8.76543_{(16)} imes 16^7)和(8.76542_{(16)} imes 16^7)，因为它们的最后一位都会被表示成001。

可以看到，无法保证有效数字的某一位，意味着我们没办法区分这一位可能出现的所有情况。反过来，如果说我们能保证某一位，说明去掉这一位之前所用掉的2进制有效数字位数后，我们还能剩下足够的2进制位数来区分这一位可能出现的所有情况。

回过头看前面我们用1位2进制表示10位10进制有效数字的情况。1位2进制有效数字有可能表示出10位的10进制有效数字，但是要能区分出10位10进制数的所有情况，我们还是需要更多的2进制位。

万恶的10进制

如果能见到神的话，我一定要问他人为什么要长10个指头而不是8个——如果不能是16个的话……

下面我们要解决的问题是：去掉10进制某一位之前用掉的2进制有效数字后，我们怎么计算还剩下多少2进制位数。

高能预警：这将不是个整数。

我们知道3位2进制数有8种不同情况，4位2进制数有16种不同情况。而每位有10种情况的10进制要对应2进制的多少位？咱们先直接用这结果[log_210 approx 3.322]对于单精度浮点数，第N位10进制有效数字后还有(24 - N imes log_210)个2进制位可用。如果说单精度浮点数能保证N位有效数字，意味着N位后刚好不再有足够的2进制位数能区分10种不同情况。可以很容看出，这个N应该是让(N imes log_210)不大于24的最大的整数。也就是[N = lfloor {24 over log_210} floor = 7]最终，我们得出N是7。((lfloor x floor)表示对(x)向下取整)

至此为止，我们知道了该如何计算有限位数的2进制有效数字能保证的10进制有效数字位数。比如我们还可以计算53位2进制有效数字的双精度浮点数可以保证的10进制位数是[lfloor {53 over log_210} floor = 15]

正篇到此结束。

后记

这里开始，我不再保证能尽量说人话。

换个角度

因为有[{M over log_210} = {log_22^M over log_210} = log_{10}2^M]所以单精度浮点能保证的有效数字位数等价于(2^{24})（也就是16777216）去掉最高位后的位数。很多人会说这个就是单精度浮点数能表示7位有效数字的原因。从这个角度解释也是可以的，但是直接这么下结论跳过的步骤太多了。而且从这角度解释铺垫起来会麻烦很多。

“至少”的问题

为了方便，我们看16进制。

这个问题用24位有效数字不太好说，我们看23位。上面说了2进制23位是可以确保16进制的5位的。但是[1.2345678_{(16)} imes 16^7 = 1.0010‘0011‘0100‘0101‘0110‘0111‘1000_{(2)} imes 2^{28}]保留23位有效数字是[1.0010‘0011‘0100‘0101‘0110‘01_{(2)} imes 2^{28} = 1.234564 imes 16^7]好像出来了6位。应该很容易注意到，这里16进制的最高位只占用了2进制的1位，所以后面多了3位可用。

所以计算第N位还能使用的2进制位数，不是简单的用总的2进制位数，减去((N - 1) imes 4)。而应该是减去第1位使用的2进制位数后，再减((N - 2) imes 4)。

你可能觉得这样我们前面的方法就不准确的了，其实不然。因为我们要计算的是位数最少的情况，而这样只会让位数变多。

除了最开始提到的特殊情况，这是单精度浮点数正确表示超过7位10进制有效数字的更普遍的一种特殊情况。当然，这样最多只能表示出8位。

非整数的位数是什么鬼

拿10进制来讲，我们可以说第N位和(10^N)是对应的。比如我们想把3往左移动2位，就可以(3 imes 10^2 = 300)。于是往左移动半位也就是(3 imes 10^{0.5} = 3 sqrt {10} approx 9.487)
前面10进制1位对应2进制(log_210 approx 3.322)。很显然(2^{log_210} = 10)