VC++使用zlib压缩及解压数据，使用base64编码及解码数据（附源码）

Posted 2022-06-20 dvlinker

VC++常用功能开发汇总（专栏文章列表，欢迎订阅，持续更新...）https://blog.csdn.net/chenlycly/article/details/124272585       当客户端与服务器之间交互的单次数据比较大时，可以考虑使用zlib开源库对数据字节流进行压缩，压缩后再通过网络传输出去，可以有效的减小对网络带宽的占用，并提供数据的发送速度。今天我们就来讲述一下如何使用zlib开源库去压缩数据字节流。

1、概述

        本文以我们项目中的业务代码为例来讲解。在软件的某个业务子系统中，客户端使用开源的libwebsockets库通过websockets协议和某个业务服务器通信，交互消息中携带的数据使用json格式。在部分消息中，携带的结构体数据比较冗长，转换成json数据后会更大，网络传输的效率比较低。并且服务器在收到这些交互消息后，要广播给多个终端，这给网络传输带来了一定压力。所以我们为了提高数据传输的效率，我们使用zlib将要传输的json数据先进行压缩，再将压缩后的数据进行base64编码，再发送出去。

       为啥要进行Base64编码呢？因为websockets通信中要求携带的数据必须是可打印可见的有效字符，而经过zlib压缩后的buffer中可能包含不可见字符，服务器收到数据后会认为传输的数据包含非法字符，强行将与客户端的连接断开。所以要对压缩后的buffer数据进行base64编码。

2、发送端先调用compress压缩，再base64编码，然后再将数据发出去

       发送端先调用zlib开源库中的compress接口，该接口声明如下所示：

/*
     The following utility functions are implemented on top of the basic
   stream-oriented functions.  To simplify the interface, some default options
   are assumed (compression level and memory usage, standard memory allocation
   functions).  The source code of these utility functions can be modified if
   you need special options.
*/

ZEXTERN int ZEXPORT compress OF((Bytef *dest,   uLongf *destLen,
                                 const Bytef *source, uLong sourceLen));

调用该接口对json数据进行压缩。然后调用base64_encode接口，对压缩后的buffer数据进行base64编码，将这两个操作封装到如下的接口中：

static BOOL CompressElementData( const std::string& strInputBuffer, std::string& strOutputBuffer )

    BOOL bRet = FALSE;

    DWORD dwStrLen = strInputBuffer.length();
    // 先调用compressBound，获取存放压缩后的数据长度
    dwStrLen = compressBound( dwStrLen+1 );

    char* pchRawBuffer = new char[dwStrLen+1];
    if ( pchRawBuffer )
    
        memset( pchRawBuffer, 0, dwStrLen+1 );
        // 调用compress对字节流进行压缩
        int nRet = compress( (Bytef *)pchRawBuffer, (uLongf *)( &dwStrLen ), (Bytef *)( strInputBuffer.c_str() ), strInputBuffer.length() );
        if ( Z_OK != nRet )
        
            LogErr(MDL_MTDCS, "[CompressElementData]: compress failed, nRet = %d", nRet);
        
        else
        
            char* pchB64Buffer = new char[BUF_LEN_24K+1];
            if ( pchB64Buffer )
            
                memset( pchB64Buffer, 0, BUF_LEN_24K+1 );
                b64_encode( pchRawBuffer, dwStrLen, pchB64Buffer );
                strOutputBuffer.clear();
                strOutputBuffer.append( pchB64Buffer );
                bRet = TRUE;
                delete[] pchB64Buffer;
            
        

        delete[] pchRawBuffer;
    

    return bRet;

在调用compress接口之前，先调用compressBound获取压缩后的数据长度，在调用compress之前先将内存new出来。

       调用上述封装接口的业务代码如下：

Json::FastWriter json_writer;
Json::Value json_value; // 存放原始的json数据
std::stringstrJson;    // 存放经过压缩和base64编码后的数据

// 将要发送的结构体数据构建成json串，存放到json_value中
// 此处代码省略...

std::string strJsonData;
EmWSErrorCode emErrorCode = emErrorCode_NoError;
// 对数据进行压缩、base64编码
if ( CompressElementData( json_writer.write( json_data ), strJsonData ) )

    Json::Value json_Line_Data;

    json_Line_Data["data"] = strJsonData;
    json_value["entity"] = json_Line_Data;
    std::stringstrJson = json_writer.write(json_value);

    // 将数据发送出去
    emErrorCode = WebSocket::Send(g_uConfSSID, strJson);
    if ( emErrorCode_NoError != emErrorCode )
    
        LogDebug(MDL_MTDCS, "Send WebSocketMsg Error = %d, emOper = %d", emErrorCode, emOper);
    

        关于base64编解码的接口，可以参见文章：

VC++详解Base64编解码原理以及Base64编解码接口实现（附源码）https://blog.csdn.net/chenlycly/article/details/124106136

 3、接收端接收到数据，先base64解码，再调用uncompress解压

       数据接收端在接收到数据后，要按相反的处理顺序来处理，要先对数据进行base64解码，然后再调用uncompress对数据进行解压，相关代码如下：

static BOOL DecompressElemetData( const std::string& strInputBuffer, std::string& strOutputBuffer )

    BOOL bRet = FALSE;

    char* pchDataBuffer = new char[strInputBuffer.length()+1];
    if ( pchDataBuffer )
    
        memset( pchDataBuffer, 0, strInputBuffer.length()+1 );
		// 接收端先进行base64解码，然后再调用uncompress解压数据
        DWORD dwDataLen = b64_decode( strInputBuffer.c_str(), strInputBuffer.length(), pchDataBuffer );
        char* pchRawBuffer = new char[BUF_LEN_32K*3 +1];
        if ( pchRawBuffer )
        
			// uncompress解压出来的数据不知道有多长，按照原始数据的3倍进行存储
            memset( pchRawBuffer, 0, BUF_LEN_32K*3 +1 );
            unsigned int64 uRawDataLen = BUF_LEN_32K*3 +1;
            int nRet = uncompress( (Bytef*)pchRawBuffer, (uLongf*)( &uRawDataLen ), (Bytef*)pchDataBuffer, dwDataLen );
            if ( Z_OK != nRet )
            
                LogErr(MDL_MTDCS, "[DecompressElemetData]: uncompress failed, nRet = %d", nRet);
            
            else
            
                strOutputBuffer.clear();
                strOutputBuffer.append( pchRawBuffer );
                bRet = TRUE;
            
            delete[] pchRawBuffer;
        
        delete[] pchDataBuffer;
    

    return bRet;

解压时没有压缩时可以调用的compressBound，解压时不知道解压后的数据有多长，因为压缩的时候，原始buffer可定有个最大长度，new一个最大长度的buffer来接收解压后的数据即可。
       调用上述封装接口的代码如下：

Json::Value json_value

// 服务器传过来的数据已经保存到json_value中，经过压缩及base64编码的数据存放与于json串的["entity"]["data"]节点下
std::string strData;
if ( DecompressElemetData( json_value["entity"]["data"].asString(), strData ) )

    // 解压出来的数据存放到strData中，就是原始的json数据，下面解析原始的json数据
    Json::Reader json_reader;
    Json::Value json_data;
    if ( json_reader.parse( strData, json_data ) )
    
        // 省略
    

4、最后

        有人可能会有疑问，为啥不用压缩软件呢？其实是这样子的，压缩软件是对文件进行的操作，zlib是对字节流数据进行的操作，是有区别的！ 另外，http/https请求回应的数据一般不需要额外的压缩，只需要在后台的web框架中设置gzip为1，就会自动对数据压缩了，压缩后再回传给请求方。