Hbase或hdfs哪个会更好

Posted

技术标签:

【中文标题】Hbase或hdfs哪个会更好【英文标题】:Hbase or hdfs which will be better 【发布时间】:2015-02-25 14:28:20 【问题描述】:

我有一个用例,其中我们有大量数据要对其执行分析。数据将在运行时被持续获取和分析。对于这个用例场景,最好使用 Hbase+hive 或 HDFS+hive。 正如我所阅读的那样,我发现对于运行时间的变化,最好使用 Hbase。需要一些建议和意见。请随时提供您的意见。

如果您有任何这样的用例,您可以举例说明它会很棒。 提前致谢

【问题讨论】:

确实,一般来说 HBase 可以产生比 Hive+MR 更好的延迟。但是,很大程度上还应取决于您的用例的细节。举一个例子,分析是否需要在大量不同数据之间执行关系连接?该用例不太适合 HBase。 【参考方案1】:

根据我目前的经验,通常可以归结为 Hbase 和 Hive 之间的选择。 Hbase 非常适合涉及实时查询快速变化的数据(聊天消息)的用例,而 Hive 适合需要对长时间聚合的数据执行分析(通常使用 SQL)的用例(网站分析)。

【讨论】:

以上是关于Hbase或hdfs哪个会更好的主要内容,如果未能解决你的问题,请参考以下文章

求高手指教hbase伪分布问题

使用 talend 或 sqoop 将数据从 hbase 导入 hdfs

HDFS和Hbase配置同步

hbase的一些要点

Hbase/HDFS存储扩容实践

Hbase 原理