结合Hbase实时数据分析

Posted Nathon的学习笔记

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了结合Hbase实时数据分析相关的知识,希望对你有一定的参考价值。

前面已经将数据处理出来,接下来需要将结果持久化到DB中,这里采用Hbase作为存储DB。选择Hbase原因是,一方面是对大的数据量的存储(列式存储),另一方面是可以快速的读取。

Hbase这里我建了两张表,如下所示,分别存放网站上每天的点击量和每个点击内容的网站来源。集群的环境是1个Hmaster+3个Hregionserver。

然后,建立一个DAO层,通过Hbase的API往里面写数据:

所以,每次数据通过前面的一系列处理后,可以实时到保存到DB。从下面的结果可以看出来,每种内容的点击量(click_count),还有每种点击内容的来源,方便分析出终端客户采取的是哪种渠道点击。

接下来,可以设计前台展现,将Hbase里面的实时数据给实时呈现出来。

以上是关于结合Hbase实时数据分析的主要内容,如果未能解决你的问题,请参考以下文章

实时即未来,大数据项目车联网之原始数据实时ETL任务HBase调优

实时即未来,大数据项目车联网之原始数据实时ETL任务HBase调优

Cassandra 与 Hbase 的实时数据对比

原创-Hbase WAL日志数据实时推送到kafka

HBase结合MapReduce批量导入

实时即未来,大数据项目车联网之原始数据实时ETL落地HBase