Hbase-MySQL海量数据存储的启发

Posted duoduotouhenying

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hbase-MySQL海量数据存储的启发相关的知识,希望对你有一定的参考价值。

宽表拆分

技术分享图片

有一张user表,记录了用户的信息,,如果表中的列有很多,就称之为宽表,为了提升效率,会进行垂直拆分

拆分后

技术分享图片

将用户的信息分为基本信息和其他信息,页面一开打就需要展示的信息为基本信息,其他信息例如订单,收货地址等等需要用户点击后才需要到的

 

高表拆分

 技术分享图片

表中如果有很多行,就称之为高表,为了提高效率会进行水平拆分,例如可以模仿&操作或者%操作来分表

按性别拆分后

技术分享图片

 

动态列

技术分享图片

随着业务的增长,数据列可能需要动态添加,如果对一个大表执行alter操作,那基本就凉了

采用动态列,字段内容为json格式,效率虽然不是最高,但是灵活,

 

引出Hbase架构

 技术分享图片

不同于mysql,Hbase只是逻辑数据库,真正的数据还是要存储到HDFS上

WAL为WriteAheadLog,预写日志,为的是保持数据的一致性

Cache,一般为查询缓存

以上是关于Hbase-MySQL海量数据存储的启发的主要内容,如果未能解决你的问题,请参考以下文章

银行海量交易数据是怎么存储的?

互联网如何海量存储数据?

浅析MongoDB数据库的海量数据存储应用

浅析MongoDB数据库的海量数据存储应用

HBase海量数据存储

适合海量数据的存储方式