将可变大小的字节数组转换为整数/长整数

Posted 2023-02-25

【中文标题】将可变大小的字节数组转换为整数/长整数

【英文标题】：Convert variable-sized byte array to a integer/long

【发布时间】：2014-10-05 06:22:18

【问题描述】：

如何将（大端）可变大小的二进制字节数组转换为（无符号）整数/长整数？比如'\x11\x34'，代表4404

现在，我正在使用

def bytes_to_int(bytes):
  return int(bytes.encode('hex'), 16)

它很小并且有点可读，但可能不是很有效。有没有更好（更明显）的方法？

【问题讨论】：

是什么让你觉得它效率不高？更重要的是，是什么让您认为这将成为您编写的任何代码的瓶颈？

同时，这是一个固定长度的字节数组，还是总是 2 个字节？

另外，'\x1134' 是什么？你是说'\x11\x34'？还是'\\x1134'？因为你写的是一个 3 个字符的字节字符串，字节为 0x11、0x33、0x34，我认为这不是你拥有或想要的。

你试过使用 struct 吗？ docs.python.org/2/library/struct.html

我已将这些详细信息添加到问题中。这是一个可变大小的字节数组，我的例子是错误的。代码在任何方面都可能不是瓶颈（否则这可能应该在 C 中完成），但我想知道是否存在“规范的最佳方法” - 特别是因为 最好只有一个显而易见的方法

【参考方案1】：

传统上，对于 C 来说太大的“大端 C 布局中的数字”并没有太多用处。（如果您要处理 2 字节、4 字节或 8 字节的数字，那么struct.unpack 就是答案。）

但有足够多的人厌倦了没有一种明显的方法来做到这一点，Python 3.2 添加了一个方法int.from_bytes，它完全可以满足您的需求：

int.from_bytes(b, byteorder='big', signed=False)

不幸的是，如果您使用的是旧版本的 Python，则没有此功能。那么，您有哪些选择？ （除了显而易见的：更新到 3.2，或者更好的是 3.4……）

---

首先，这是您的代码。我认为binascii.hexlify 是比.encode('hex') 更好的拼写方式，因为对于字节字符串（与Unicode 字符串相反）的方法，“编码”总是看起来有点奇怪，实际上它在Python 3 中已被禁止. 但除此之外，它对我来说似乎非常易读和明显。它应该非常快——是的，它必须创建一个中间字符串，但它在 C 中（至少在 CPython 中）执行所有循环和算术运算，这通常比 Python 快一个或两个数量级。除非您的 bytearray 太大以至于分配字符串本身会很昂贵，否则我不会担心这里的性能。

或者，您可以循环执行。但这会更冗长，至少在 CPython 中会慢很多。

您可以尝试为隐式循环消除显式循环，但这样做的明显函数是 reduce，它被社区的一部分认为是非 Pythonic ——当然它需要调用一个函数每个字节。

您可以展开循环或 reduce，方法是将其分成 8 个字节的块并循环遍历 struct.unpack_from，或者只需执行一个大的 struct.unpack('Q'*len(b)//8 + 'B' * len(b)%8) 并循环遍历它，但这会使其可读性和可能不会那么快。

您可以使用 NumPy……但如果您要大于 64 位或 128 位，它最终会将所有内容都转换为 Python 对象。

所以，我认为你的答案是最好的选择。

---

以下是与最明显的手动转换相比的一些时间安排：

import binascii
import functools
import numpy as np

def hexint(b):
    return int(binascii.hexlify(b), 16)

def loop1(b):
    def f(x, y): return (x<<8)|y
    return functools.reduce(f, b, 0)

def loop2(b):
    x = 0
    for c in b:
        x <<= 8
        x |= c
    return x

def numpily(b):
    n = np.array(list(b))
    p = 1 << np.arange(len(b)-1, -1, -1, dtype=object)
    return np.sum(n * p)

---

In [226]: b = bytearray(range(256))

In [227]: %timeit hexint(b)
1000000 loops, best of 3: 1.8 µs per loop

In [228]: %timeit loop1(b)
10000 loops, best of 3: 57.7 µs per loop

In [229]: %timeit loop2(b)
10000 loops, best of 3: 46.4 µs per loop

In [283]: %timeit numpily(b)
10000 loops, best of 3: 88.5 µs per loop

为了在 Python 3.4 中进行比较：

In [17]: %timeit hexint(b)
1000000 loops, best of 3: 1.69 µs per loop

In [17]: %timeit int.from_bytes(b, byteorder='big', signed=False)
1000000 loops, best of 3: 1.42 µs per loop

所以，你的方法还是挺快的……

【讨论】：

python3 支持绝对是一个奖励。在这种情况下，它的效率足以满足我的需求，我只是想确保没有更明显的方法

【参考方案2】：

函数struct.unpack(...) 可以满足您的需求。

【讨论】：

仅当它是固定长度（在他的示例中为 2 字节长）字节数组时。

确实，对不起，我忘了提。我同时编辑了这个问题