大数据技术HBase与Solr系统架构设计

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据技术HBase与Solr系统架构设计相关的知识,希望对你有一定的参考价值。

如何在保证存储量的情况下,又能保证数据的检索速度 HBase提供了完善的海量数据存储机制,Solr、SolrCloud提供了一整套的数据检索方案。

 使用HBase搭建结构数据存储云,用来存储海量数据;使用SolrCloud集群用来搭建搜索引擎,将要查找的结构化数据的ID查找出来,只配置它存储ID。  

1.用户write data写数据(wd)

从用户提交写数据请求wd1开始;经历wd2写入mysql数据库或写入结构数据存储云中;wd3提交到Solr集群中,从而依据业务需求创建索引。

2.用户read data读数据(rd)

从用户提交读数据请求rd1开始;经历rd2直接读取MySQL中数据或向Solr集群请求搜索服务;rd3向Solr集群请求得到的搜索结果为ID,再向结构数据存储云中通过ID取出数据,最后返回给用户结果。

 

 

参考文档:

Solr与HBase架构设计

以上是关于大数据技术HBase与Solr系统架构设计的主要内容,如果未能解决你的问题,请参考以下文章

干货大数据前沿技术应用之HBASE数据库

大数据架构设计与数据计算流程

大数据之数据治理架构 —— Atlas

HBase大数据工程师

分布式数据库HBase的架构设计详解(有彩蛋)

大数据—— HBase 常见面试题整理