ES+Hbase对接方案概述
Posted 高兴
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了ES+Hbase对接方案概述相关的知识，希望对你有一定的参考价值。
方案背景
Hbase的索引方案有很多，越来越多的人开始选择ES+Hbase的方案，其实该方案并没有想象中那么完美，ES并发低，同时查询速度相对Hbase也慢很多,那为什么会选择他呢，它的写入比较快，如果一个宽表需要建20个索引，在数据导入时，hbase每秒导入20W，那么ES压力就是每秒400W，solr和hindex都不能解决该问题。
所以对并发高的业务场景，还是使用华为HIndex这种方案，也可以混合使用
方案描述
ES+Hbase对接大致有两种方式，需要根据当前的业务场景做相应的选择，
方案1：
如果是对写入数据性能要求高的业务场景，那么一份数据先写到Hbase,然后再写到ES中，两个写入流程独立，这样可以达到性能最大，目前某公安厅使用该方案，每天需要写入数据200亿，6T数据，每个记录建20左右的索引。
缺点：可能存在数据的不一致性。
方案2：
这也是目前网上比较流行的方案，使用hbase的协处理监听数据在Hbase中的变动，实时的更新ES中的索引，
缺点是协处理器会影响Hbase的性能
以上是关于ES+Hbase对接方案概述的主要内容，如果未能解决你的问题，请参考以下文章