34华为HCIE-Storage--数据重删 & 数据压缩

Posted 2020-10-29

------------------------------------重要说明------------------------------------

以下部分内容来网络，部分自华为存储官方教材

具体教材内容请移步华为存储官网进行教材下载

    网络引用内容无法找到原创，如有侵权请通知

------------------------------------重要说明------------------------------------

SmartDedupe&SmartCompression特性通过删除重复数据或对业务数据进行压缩，减少数据冗余，节省存储空间。

l 重删数据块大小：用于指定存储系统进行重删的粒度。重删数据块的大小与文件系统块大小一致。根据业务需要，用户可以在CLI（ Command Line Interface）下运行create file_system general命令创建文件系统时设置不同的文件系统块大小。

l 压缩数据块大小：用于指定存储系统进行压缩的粒度。存储系统基于新写入文件系统的数据块大小进行智能合并压缩。

l 定长重删：重删过程中，存储系统按照相同的重删数据块大小对文件系统进行重删。

l 哈希算法：校验数据块一致性的方法。通过该方法，可以计算出数据块的指纹信息（指纹信息是一个固定长度的二进制数值，与人的指纹类似，可以看成是每个数据块的唯一标识）。当两个数据块的指纹信息一致时，存储系统会认为这些数据块是重复的。

l 逐字节比较策略：查找重复数据块时，对哈希算法的补充校验方法。当采用逐字节比较策略时，存储系统除了要对比指纹，还需要逐字节比较数据块中的数据。

l 重删元数据：用于保存重删处理相关信息。例如，数据块的指纹信息，重删后数据的存放位置等。

①　重复数据删除

 

1. 存储系统利用哈希算法计算新写入数据块的指纹信息。数据块的划分粒度与文件系统块大小保持一致，且每次重删处理的数据块大小保持一致，实现定长重删。

2. 通过指纹信息对比新写入数据块与原有数据块是否重复。

– 是 => 存储系统认为新写入的数据与原有数据重复，删除该数据块，并将该数据块的存储位置指向原有数据块的存储位置。

– 否 => 存储系统认为新写入的数据是一个新数据块，将新数据块写入硬盘。

 

②　数据压缩

存储系统在进行数据压缩处理时，会根据用户设定的压缩策略进行不同程度的压缩。存储系统支持如下两种压缩策略：

Fast： Fast策略是系统默认使用的压缩算法。该算法压缩速度快，但与Deep策略相比压缩后空间节省效率低一些。

Deep： Deep策略可以获得空间节省效率的明显提升，但压缩和解压需要花费更长的时间。