海量日志数据存储用 elasticsearch 和 hbase 哪个好

Posted 2023-05-02

从基本功能来说这两个确实有相似性，但是根据业务需求不同，我觉得有几点可以考虑：
1. 查询复杂度：HBase支持简单的行或者range查询，比如给一个PK查该行的数据，或者给一个begin/end查这个范围的数据，如果想完成更复杂的功能就不太容易。而ES支持的查询比较丰富，或者说这些查询都带有一点复杂计算的味道了。比如你有个论坛，你想查帖子里面是否包含敏感词，如果采用HBase就比较麻烦，使用HBase你可以将帖子存进来、读出去，但是要查内容里面的东西，只能一点点过滤；而ES是可以比较方便的帮助你完成这个功能的；
2. 数据量：按道理说两者都是支持海量数据的，但是据我个人感觉，HBase可能更容易支持更多的数据，因为其一开始设计就是解决海量问题的；而ES是后来慢慢增强其存储扩展性的；那么也就是说，HBase上手起来扩展性不太会阻碍你使用；ES可能要多费点劲。当然，听说也有人写了ES基于Azure或者S3的存储插件，但是稳定性不知道如何；
3. 剩下的就是比较远的考虑，比如维护性，HBase基于Hadoop那一套，组件多，维护起来代价也不低，而ES自成体系，维护起来稍微好点；当然这个是相对的，绝对来说都不会容易。比如新功能开发，比如成本控制等等。。。 参考技术A hbase面向列非常好加字段的！
es适合搜索和分析小规模数据，速度快过hbase。
hbase稳定可靠，而且可以通过mr spark等大批量拉取数据。

猎聘网架构中间件负责人：基于Flume+Kafka+ Elasticsearch+Storm的海量日志实时分析平台

互联网技术联盟（ITA1024）4月启动大数据技术系列分享，每周安排一场线上大数据技术精英群分享！本期邀请猎聘网架构师袁晓亮分享基于Flume+Kafka+ Elasticsearch+Storm的海量日志实时分析平台。

基于Flume+Kafka+ Elasticsearch+Storm的海量日志实时分析平台

袁晓亮

猎聘网

架构中间件负责人

互联网技术联盟

ITA1024讲师团成员

猎聘网架构师，担任架构中间件组负责人。

擅长各种组件框架的研发，负责建设各类基础中间件平台，其中主要有：统一推送平台、分布式调度平台、分布式文件平台、KV平台、分布式消息系统、敏感词扫描平台、实时日志分析平台等。

抽象梳理各个业务功能和需求，提供统一的基础平台接入，构建完善的中间件体系。

内容介绍

分享猎聘网通过EFK搭建在线实时海量日志查看平台的架构设计和实战经验。

该平台通过Flume为线上集群的上千个实例实时收集日志，日志种类目前主要分为nginx和tomcat日志，并将日志实时传入Kafka集群。

第一会通过Web平台使用浏览器实时在线浏览日志，基于redis发布订阅方式实现，浏览延迟小于5s；

第二会通过Web平台搜索、统计历史日志，基于将kafka日志灌入ES集群实现，日志搜索延迟1分钟左右；

第三会在后台进行实时统计分析日志，做规则处理，基于Storm流式计算实现。

时间/地点

北京时间： 2016.4.26  周二晚 8:30

@ITA1024大数据技术精英群

如何参加

阅读原文报名，请准确填写信息

因人数限制，会严格审核，通过后邀请进群

◆  ◆  ◆

About 互联网技术联盟 ITA1024

互联网技术联盟（ITA1024）是由京东、美团点评、小米、滴滴、携程、网易、搜狐、乐视、当当、途牛、饿了么、58、猎豹等TOP100的互联网服务和七牛、青云、听云、DaoCloud、UCloud、有云等技术服务联合发起的国内最大的企业间技术交流组织，专注于互联网+技术与创新。

联盟精心组织的1024系列技术峰会，由每周一期的线上万人课堂和每月一次的技术大会组成。每月一个技术主题，由联盟成员企业推荐的国内一流技术专家联手打造，分享如何通过一线技术应用案例和最佳实践，支撑和驱动业务成长。

联盟还通过官方网站（www.ita1024.com），官方微信公众（ita1024k），ITA1024技术月刊等多种形式，将精品技术内容精准推送给细分领域专业人群。