可变长度整数的编码

Posted 2023-04-13

参考技术A 可变长度整数（以下简称为varint）压缩算法是将整数压缩成比通常需要的更小空间的一种方法。一个varint算法以用一个字节表示10，而用4个字节来表示8亿。

比如，在应用中，大多数的值都在0到100之间，而有些值可能会超过16384，如果使用固定长度的空间来表示这些值的话，就需要一个完整的32位整数，即使大多数值用单个字节来表示就够了。

正是因为在中大多数数字的分布并不均匀，varint算法才有了用武之地。通常情况下，较小的数字出现的概率大于较大的数字。varint算法作出的权衡是，用较小的空间存储小数字，而用较大的空间存储大数字。因此，采用这种算法来对整数进行编码是有意义的，它可以节省存储数据需要的空间或者传输数据时所需的带宽。

两种varint编码的常见方式是使用前缀长度和使用连续位标识。

Protobuf 用的是连续位标识技术，使用每个字节的第一位来标识是否需要继续向后读。每个字节低7位用于实际的编码。

比如对于数字25，8位二进制为 0001 1001 。注意最左边一位是0，在Protobuf中，这意味着不需要继续向后读了。采用这样的技术，0到127之间的数字都可以用一个字节表示。

对于大于127的数，比如225，二进制为 1110 0001 ，如果用7个bit进行编码，则得到两个分组 000 0001 和 110 0001 。对Protobuf来说，最不重要的分组首先出现，这意味着应该向低阶组添加一个连续位 0 000 0001 和 1 110 0001 。逆置分组后，得到 1110 0001 和 0000 0001 。这样就使用两个字节对225进行了编码。

解码的过程如下，先读一个字节，如果该字节的高位第一个bit为1，则继续读；如果为0，则停止。移除每个字节的第一个bit，逆置剩余的bit分组，重新组合后得到原始的数据。

还是以225为例。

这个技术非常强大，它可以编码任意大小的数字。

UTF8编码采用了前缀来标识编码的长度。对于小于等于127（十六进制0x7F）的任何字符，UTF8采用一个字节表示。该字节的高一位bit为0，低7位为编码的值，这个值和ASCII码值一样。具体规则如下表

使用流在 C++ 中读取可变长度输入

【中文标题】使用流在 C++ 中读取可变长度输入

【英文标题】：reading variable length input in C++ using stream

【发布时间】：2019-11-03 08:58:33

【问题描述】：

我有以下要读入程序的要求。

第一行包含两个以空格分隔的整数，分别表示 p（可变长度数组的数量）和 q（查询的数量）的值。 后续行中的每一行都包含数组中每个元素的空格分隔序列。

随后的每一行都包含两个以空格分隔的整数，分别描述查询的 i（数组中的索引）和 j（由 引用的数组中的索引）的值。

2 2
3 1 5 4
5 1 2 8 9 3
0 1
1 3

在上面的示例中，我有 2 个数组和 2 个查询。第一个数组是 3,3,5,4，第二个数组是 5 1 2 8 9 3。

我的问题是如何在我的容器中读取这些数据。注意：我无法从控制台输入输入，这里有一些测试程序提供输入。

我写的如下

int iNoOfVectors = 0;
    int iNoOfQueries = 0;
    cin >> iNoOfVectors >> iNoOfQueries;
    cout << iNoOfVectors ; 
    vector<vector<int>> container;
    container.reserve(iNoOfVectors);
    for(int i = 0; i < iNoOfVectors; i++ ) 
        int temp;
        std::string line;
        while (std::getline(std::cin, line))
        
            std::cout << line << std::endl;
        
    

上面的输出

2
3 1 5 4
5 1 2 8 9 3
0 1
1 3

如何将可变长度数组元素放入容器中。

谢谢

【问题讨论】：

逐行阅读是一个好的开始。然后您可以将该行放入std::istringstream 并使用std::istream_iterator 到construct a vector。

你能举例说明一下吗

【参考方案1】：

如果你想从一个字符串中读取相似的数据到一个向量中，你需要做以下2个步骤：

将字符串内容放入std::istringstream 使用 std::istream_iterator 遍历 istringstream 中的元素

例子：

#include <iostream>
#include <string>
#include <sstream>
#include <algorithm>
#include <iterator>
#include <vector>

int main() 

    // The source string
    std::string stringWithIntegers "5 1 2 8 9 3" ;

    // Build an istringstream with the above string as data source
    std::istringstream iss stringWithIntegers ;

    // Define variable 'data'. Use range constructor and stream iterator    
    std::vector<int> datastd::istream_iterator<int>(iss), std::istream_iterator<int>();

    // Display result
    std::copy(data.begin(), data.end(), std::ostream_iterator<int>(std::cout, "\n"));

    return 0;

也可以复制数据：

    std::vector<int> data;

    std::copy(
        std::istream_iterator<int>(iss),
        std::istream_iterator<int>(),
        std::back_inserter(data)
    );