HBase数据持久化之HRegion.flushcache即CF持久化

Posted 2021-01-19 letsfly

　　我们从HRegion.flushcache开始分析。由于这个过程还是比较复杂的，因此，在这一节，我们不会分析的太过详细，只是单单的介绍一下其大体流程，待大家有了整体的把握之后，我们将在下一节详细介绍其持久化的具体流程。

　　为了尽可能严谨的描述整个流程，小编在讲解过程中会贴比较多的图来描述。

　　好了，闲话不说，下面我们进入正题：

　　首先，让我们来到今天的入口方法HRegion.flushcache：下图的代码不少，但是，并没有我们今天要介绍的重点。此图只是用来表示我们今天要讲的方法。

　　其实，重点的入口方法是下图的框选方法internalFlushcache。由该方法名，我们就可以猜到该方法应该就是我们要找的方法。

　　接着，让我们追踪到该方法内部，看到其调用了下图所示的两个方法。如下图所框选的两个方法。他们都是我们今天要介绍的重量级方法。

　　第一个方法主要实现的是内存快照的创建。(为简化描述，以后用方法一描述该方法)

　　第二个方法主要实现了将内存中的数据flush到磁盘上。（同理，用方法二描述该方法）

　　下面，我们来到第一个方法，也就是HRegion.internalPrepareFlushCache。这个方法的内容很多，但是与我们今天流程相关并不是很多，如下图所示的代码：

　　这里，我们简单看一下WALUtil.writeFlushMarker，并不做深入讲解，因为后面的内容还很多，详情让我们放到下一节。

　　接着，我们来到StoreFlusherImpl.prepare。下图所框选的方法比较重要，因为这是方法一的核心。它为当前的memstore创建了快照，并且调用了resetActive方法，重置了memstore中的active成员变量。大家可能不太清楚我为什么要强调这里的active成员变量。那么我们跳过这张图。

　　来到DefaultMemStore.snapshot，看一下我特地为大家标注的。首先，根据当前的active创建ImmutableSegment，然后将刚刚创建的ImmutableSegment赋给成员变量snapshot，最后，调用resetActive重置了当前的active为MutableSegment。这里不是很难，就不详细介绍了，大家有兴趣可以追查一下源码。

　　接下来，让我们来到今天的另一个重量级方法HRegion.internalFlushCacheAndCommit，由于该方法比较长，内容比较多，这里我们仅介绍第一张图，也就是下图。如下图所示，我们框选了两个比较重要的变量prepareResult.storeFlushCtxs、prepareResult.committedFiles。大家可能会对他们有点陌生。没有关系，让我们在下面插一张图稍稍回顾一下

　　看了下图，你可能就恍然大悟了，这正是方法一为方法二调用做的必要准备。到这里，大家应该能够理解我这里为什么要将他们二者称之为两个重量级方法了。

　　接着，让我们继续往下走，来到HStore.StoreFlusherImpl.flushCache方法。

　　继续来到上图所示方法的具体调用，这里就实现了对快照的flush。

　　接着，我们来到今天所介绍的方法中最为复杂的方法。在下图，我框选的内容比较多，大家不要担心，我仅介绍其中与我们这一节紧密相关的后三个方法。

　　首先，我们来到HStore.createWriterInTmp方法。在这个方法中，获取了familyTempDir路径。该路径是regionDir/.tmp/family.getNameAsString()。然后构建了StoreFileWriter。

　　对于StoreFileWriter的构造方法是比较重要的，特别是其writer的构建，我在下图特别作了标示。

由于上图所示的方法比较重要，在这里，我再附一张图来说明上图所示的writer类型，这关乎后面两个方法的具体调用。

　　接着，我们来到StoreFlusher.performFlush。你可能会对我在下图标注的sink比较懵逼。但是仔细想一想，你可能就猜到了，这里的sink正是上面我们重点描述的HFileWriterImpl。也就是说下面调用的sink.append正是HFileWriterImpl.append。

　　下图所示正是HFileWriterImpl.append。这里我们就不详细叙述了，留待下一节具体分析。

　　接下来，就是真正的持久化方法：finalizeWriter。显然，在这里调用了writer.close。这里的writer类型是StoreFileWriter。

　　继续往下走，来到StoreFileWriter.close。而这里的writer正是我们刚刚再三强调的HFileWriterImpl。

　　在HFileWriterImpl.close方法中，将相关信息写入到输出流。

　　在最后的finishClose方法中，也正如后面的图所示，最后调用了outputStream.close，完成了输出流的关闭。也就是说HStore中存储的CF信息flush到磁盘上。

　　这一节描述的信息量还是很大的，还是希望大家耐心阅读。在后面的博文中，小编将做更为详细的描述。

　　如果大家感觉不错,希望点一下下面的推荐。你的肯定是小编最大的动力。如果有疑问,也可以发送邮件至[email protected]。