HBase篇：CDH使用Solr实现HBase二级索引

Posted 2021-05-02 Hbase工作笔记

前言：

        详细步骤请参看“阅读原文”，下面通过图文帮大家理解一下。

1.简单说明

使用Solr构建Hbase二级索引的原理很简单，不过是以空间换取时间，对指定列在Solr中构建索引，最终还是通过rowkey访问Hbase，如下图：

2.四大组件

Hbase+Zookeeper+Solr+Key Value Store（Lily Hbase Indexer）

可见，Hbase与Solr是独立部署的，而让两者发生关系的最核心组件就是Key Value Store.

当然，我们可以不使用现成的K-V Store自己代码实现，大概逻辑也就是：从Hbase中拉取数据然后发起POST请求存到Solr中，Hbase中一行或多行数据对应Solr中一个或多个doc，如图：

3.三个重要的配置文件

schema.xml：对应组件Solr，构建Solr schema，定义了Hbase要构建索引的列，如图：

morphline-hbase-mapper.xml：让Hbase与Lily发生关系，如图：

morphlines.conf：Hbase与Solr映射关系在此文件中体现，如图：




三个文件的关系图如下，通过这三个文件Hbase，Solr 及 Lyli 也就一一映射起来了，如图：

4.理解Solr

见逻辑视图：

索引对照图：

物理视图与逻辑视图与索引视图：

创建索引过程：Solr提供restful接口

5.了解Hbase结构图

6.了解Lily如何做桥梁

基于Hbase复制功能:

具体执行流程：主类SepConsumer，多线程并发处理

其实就是这么个过程：

详细介绍请阅读原文！

将最好的祝福送给正在阅读的你，感恩！