Hbase 写入机制详解与MVCC机制

Posted 2021-11-25 yankang

Hregion.doMiniBatchMutation 内部实现

1.获取相关的锁，由于HBase要确保行一级的原子性，所以获取锁的时候获取的是整个rowkey的锁而不是单个cell的锁；也只有当至少获取一个锁的时候，这个方法才会继续，否则直接返回。

2.更新cell中的时间戳(timestamp)以及获取mvcc相关参数，其中timestamp（也可以叫做version）可以在客户端自己手动指定，所以在一致性上不能用来做参考，也许正是因此才会引入一个叫做sequenceId的概念（当然更多的用途是为了保证修改操作在HLog里面的顺序）来完成mvcc，最后会介绍一下mvcc以及在这里HBase是如何处理mvcc的。

3.将这些put操作写入memstore，虽然数据库系统中写日志永远比写数据重要，但是这里可以认为当前“事务”尚未提交，即使现在挂了没有日志恢复也不要紧，因为这个“事务”是没有提交的。

4.构建walEdit，这一步主要是为了构建WALEdit类型的walEdit变量，这个变量主要是以list的形式聚合了很多HBase里面cell的概念，以后会写入到HLog中。

5.追加刚才构建好的walEdit：首先构造一个walKey，注意这里的walKey的sequenceId为默认值-1，到后面才会修改为跟region挂钩的唯一递增id；接着调用wal的append方法并返回一个递增数值（txid），用来表示这个追加到wal内存中日志条目的编号，在第七步中这个数值将会作为参数传入，确保该数值之前的日志信息都被写入到HLog日志文件中，而且在append方法中会保证walKey的sequenceId变成了region的sequenceId（也是一个递增序列）。

6.释放获取的锁。

7.将wal写入磁盘，正如第五步所说，这里保证txid以及之前的日志条目都被写入到日志文件中了，一旦写完便可以认为这个“事务”成功了，这里跟mysql里面的auto commit很像。

8.提交本次操作，让put操作对读可见，核心步骤就是增加对应memstore的readpoint，使得以前讲的MemStoreScanner可以看见put过来的数据，这根后面讲的mvcc有关。