Hadoop3数据容错技术（纠删码）

Posted 大数据技术派

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Hadoop3数据容错技术（纠删码）相关的知识，希望对你有一定的参考价值。

关注公众号：大数据技术派，回复“资料”，领取资料，学习大数据技术。

背景

随着大数据技术的发展，HDFS作为Hadoop的核心模块之一得到了广泛的应用。为了数据的可靠性，HDFS通过多副本机制来保证。在HDFS中的每一份数据都有两个副本，1TB的原始数据需要占用3TB的磁盘空间，存储利用率只有1/3。而且系统中大部分是使用频率非常低的冷数据，却和热数据一样存储3个副本，给存储空间和网络带宽带来了很大的压力。因此，在保证可靠性的前提下如何提高存储利用率已成为当前HDFS面对的主要问题之一。Hadoop 3.0 引入了纠删码技术（Erasure Coding），它可以提高50%以上的存储利用率，并且保证数据的可靠性。纠删码技术（Erasure coding）简称EC，是一种编码容错技术。最早用于通信行业，数据传输中的数据恢复。它通过对数据进行分块，然后计算出校验数据，使得各个部分的数据产生关联性。当一部分数据块丢失时，可以通过剩余的数据块和校验块计算出丢失的数据块。

原理

Reed-Solomon（RS）码是存储系统较为常用的一种纠删码，它有两个参数k和m，记为RS(k，m)。如下图所示，k个数据块组成一个向量被乘上一个生成矩阵（Generator Matrix）GT从而得到一个码字（codeword）向量，该向量由k个数据块和m个校验块构成。如果一个数据块丢失，可以用(GT)-1乘以码字向量来恢复出丢失的数据块。RS(k，m)最多可容忍m个块（包括数据块和校验块）丢失。\'Hadoop3数据容错技术（纠删码）_python\'比如：我们有 7、8、9 三个原始数据，通过矩阵乘法，计算出来两个校验数据 50、122。这时原始数据加上校验数据，一共五个数据：7、8、9、50、122，可以任意丢两个，然后通过算法进行恢复。\'Hadoop3数据容错技术（纠删码）_hadoop_02\'

7 x
50 y
x + 2*8 + 3 * 9 = y
4x + 5*8 + 6 * 9 = 122


HDFS EC 方案

传统模式下HDFS中文件的基本构成单位是block，而EC模式下文件的基本构成单位是block group。以RS(3,2)为例，每个block group包含3个数据块，2个校验块。

连续布局（Contiguous Layout）

文件数据被依次写入块中，一个块写满之后再写入下一个块，这种分布方式称为连续布局。优点：

  • 容易实现
  • 方便和多副本存储策略进行转换

缺点：

  • 需要客户端缓存足够的数据块
  • 不适合存储小文件

\'Hadoop3数据容错技术（纠删码）_大数据_03\'

条形布局（Striping Layout）

条（stripe）是由若干个相同大小的单元（cell）构成的序列。文件数据被依次写入条的各个单元中，当一个条写满之后再写入下一个条，一个条的不同单元位于不同的数据块中。这种分布方式称为条形布局。优点：

  • 客户端缓存数据较少
  • 无论文件大小都适用

缺点：

  • 会影响一些位置敏感任务的性能，因为原先在一个节点上的块被分散到了多个不同的节点上
  • 和多副本存储策略转换比较麻烦

\'Hadoop3数据容错技术（纠删码）_大数据_04\'

HDFS EC 开发计划

整个HDFS EC项目主要分为两个阶段：1、用户可以读和写一个条形布局（Striping Layout）的文件；如果该文件的一个块丢失，后台能够检查出并恢复；如果在读的过程中发现数据丢失，能够立即解码出丢失的数据从而不影响读操作。2、支持将一个多副本模式（HDFS原有模式）的文件转换成连续布局（Contiguous Layout），以及从连续布局转换成多副本模式。第一阶段 HDFS-7285 已经实现，第二阶段 HDFS-8030 正在进行中。

纠删码策略

RS-10-4-1024k：使用RS编码，每10个数据单元（cell），生成4个校验单元，共14个单元，也就是说：这14个单元中，只要有任意的10个单元存在（不管是数据单元还是校验单元，只要总数=10），就可以得到原始数据。每个单元的大小是1024k=10241024=1048576。RS-3-2-1024k：使用RS编码，每3个数据单元，生成2个校验单元，共5个单元，也就是说：这5个单元中，只要有任意的3个单元存在（不管是数据单元还是校验单元，只要总数=3），就可以得到原始数据。每个单元的大小是1024k=10241024=1048576。RS-6-3-1024k：使用RS编码，每6个数据单元，生成3个校验单元，共9个单元，也就是说：这9个单元中，只要有任意的6个单元存在（不管是数据单元还是校验单元，只要总数=6），就可以得到原始数据。每个单元的大小是1024k=10241024=1048576。RS-LEGACY-6-3-1024k：策略和上面的RS-6-3-1024k一样，只是编码的算法用的是rs-legacy，应该是之前遗留的rs算法。XOR-2-1-1024k：使用XOR编码（速度比RS编码快），每2个数据单元，生成1个校验单元，共3个单元，也就是说：这3个单元中，只要有任意的2个单元存在（不管是数据单元还是校验单元，只要总数=2），就可以得到原始数据。每个单元的大小是1024k=10241024=1048576。

以RS-6-3-1024k为例，6个数据单元+3个校验单元，可以容忍任意的3个单元丢失，冗余的数据是50%。而采用副本方式，3个副本，冗余200%，却还不能容忍任意的3个单元丢失。因此，RS编码在相同冗余度的情况下，会大大提升数据的可用性，而在相同可用性的情况下，会大大节省冗余空间。

纠删码基本操作

  1. 查看当前支持的纠删码策略命令如下：

[user@nn1  ~]$ hdfs ec -listPolicies 
Erasure Coding Policies:
ErasureCodingPolicy=[Name=RS-10-4-1024k, Schema=[ECSchema=[Codec=rs, numDataUnits=10, numParityUnits=4]], CellSize=1048576, Id=5, State=DISABLED]
ErasureCodingPolicy=[Name=RS-3-2-1024k, Schema=[ECSchema=[Codec=rs, numDataUnits=3, numParityUnits=2]], CellSize=1048576, Id=2, State=DISABLED]
ErasureCodingPolicy=[Name=RS-6-3-1024k, Schema=[ECSchema=[Codec=rs, numDataUnits=6, numParityUnits=3]], CellSize=1048576, Id=1, State=DISABLED]
ErasureCodingPolicy=[Name=RS-LEGACY-6-3-1024k, Schema=[ECSchema=[Codec=rs-legacy, numDataUnits=6, numParityUnits=3]], CellSize=1048576, Id=3, State=DISABLED]
ErasureCodingPolicy=[Name=XOR-2-1-1024k, Schema=[ECSchema=[Codec=xor, numDataUnits=2, numParityUnits=1]], CellSize=1048576, Id=4, State=DISABLED]


  1. 设置纠删码策略

纠删码策略是与具体的路径（path）相关联的。也就是说，如果我们要使用纠删码，则要给一个具体的路径设置纠删码策略，后续，所有往此目录下存储的文件，都会执行此策略。例子如下 首先在/下创建目录rs-6-3，然后查看其是否设置了纠删码策略，结果显示没有指定策略（新建的目录不会指定策略）

hdfs://bigdata/dn1/path
hdfs://bigdata/dn1/path2
[user@nn1  ~]$ hdfs dfs -mkdir /rs-6-3 
[user@nn1  ~]$ hdfs ec -getPolicy -path /rs-6-3 
The erasure coding policy of /rs-6-3 is unspecified


接下来，给此目录设置纠删码策略RS-6-3-1024k，此策略名是从前面list策略中查到的。可以看到已经设置成功。

[user[@nn1 ](/nn1 ) ~]$ hdfs ec -setPolicy -path /rs-6-3 -policy RS-6-3-1024k 
Set erasure Hadoop3数据容错技术（纠删码）


 分布式系统下的纠删码技术 -- Erasure Code (EC)


 分布式系统下的纠删码技术 -- Erasure Code (EC)


 Hadoop3.0时代，怎么能不懂EC技术纠删码？ 个推为你解读


 Hadoop3.0时代，怎么能不懂EC技术纠删码？ 个推为你解读


 HDFS纠删码