云时代的大数据存储-云HBase

Posted 拓达IT训练营

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了云时代的大数据存储-云HBase相关的知识,希望对你有一定的参考价值。


为什么

纵观数据库发展的几十年,从网状数据库、层次数据库到RDBMS数据库,在最近几年的NewSQL的兴起,加上开源的运动,再加上云的特性,可以说是日新月异。在20世纪80年代后,大部分的业务确定使用RDBMS数据为存储基础。新世纪开始,随着互联网的发展,数据量的增大,慢慢RDBMS数据库撑不住,就出现了读写分离策略。随着压力增加,Master撑不住,这时就要分库,把关联不大的数据分开部署,一些join查询不能用,需要借助中间层。随着数据量的进一步增加,一个表的记录越来越大,查询就变得很慢,于是又得搞分表,比如按ID取模分成多个表以减少单个表的记录数。经历过这些事的人都知道过程是多么的折腾。在不同的场景下,就出现各自优秀的分布式数据库,比如在文档型存储下的MongoDB,KV类型的Redis,再比如今天讲的列族类型的HBase。 

大数据时代数据存储的特点为:基础量大、增长快、计算与存储的实时性要求迫切、支持时效性短、易发散、易产生脏数据,这些HBase自出生起,就满足这些需求。在大数据时代,我们认为HBase是公认的大数据存储。HBase的原型出自Google的BigTable,这个跟大数据的GFS及MapReduce齐名的三篇论文,由此开创了大数据时代。目前在阿里,已经有上万台的HBase集群,在各个场景下有广泛的应用。

为什么要上云,需要了解到HBase本身比较复杂,这涉及到分布式、数据存储、响应延迟,索引等一些分布式、数据库的知识,对于运维好这个复杂系统还是有一定的难度;要有很好的使用姿势,虽然API比较简单,但是各种组合情况下,畅玩好HBase还是需要一定的功力; 上云是趋势,自己去基于ECS建设又不太了解云环境下,怎么正确部署HBase,怎么跟OSS等云上组件配合。

为此,我们提供云HBase加上专家服务解决以上3个问题
最后,HBase在阿里集团使用了6年之久,已经在HBase的性能、运维等积累了大量的经验,我们希望把这些回馈给客户,例如:我们仅仅单条低字节高频写入情况就比社区版本高出30%+的性能。

目前提供的价值点有,以下几点:

  • 高可靠: 数据备份,数据可靠性9个9

  • 高可用:Master节点强制HA机制,出现问题后直接切换

  • 易运维:一键构建、配置修改、一键扩容、自动备份、数据流入

  • 高性能:比如开源性能大幅度提升30%+

  • 低成本:后续本地盘、云盘、OSS分级别存储

云时代的大数据存储-云HBase

  • 技术架构

  • 从技术架构层面看,大致如下:

云时代的大数据存储-云HBase

  • 基础资源层:底层使用ECS及本地磁盘的架构,保证在低成本的同时又具备高性能

  • 基础软件层:使用了Ali-JDK及Ali-Liunx,这两个都有专门的团队在维护,对云HBase的贡献,比如:改进gc算法减少毛刺,改进linux中断提升性能

  • HBase内核层:目前使用是跟阿里集团内部一致的版本,也就是说内部所有的性能优化、功能增强在公有云的客户都可以享受到。这些包括但不限于:提升读写性能、增强稳定性、降低磁盘、网络抖动引起的毛刺等等

  • 运维平台:逐步完善,会包括 监控报警、配置管理、健康诊断等等易于运维的功能

目前支持两种访问网络类型:第一种是经典网络、第二种是VPC网络。区别就是VPC再加了一层网络隔离。
经典网络:

云时代的大数据存储-云HBase

云时代的大数据存储-云HBase

使用场景

HBase作为默认的大数据时代的存储,基本解决以下三大类的场景:

云时代的大数据存储-云HBase

  • 平台类,就是其它软件的存储,比如目前很流行的Kylin,阿里内部的日志同步工具TT,图组件Titan等。此类存放的往往是平台的数据,有时候往往是无业务含义的。作为平台的底层存储使用。

  • 用户行为类,此类主要是面向各个业务系统。这里的用户不仅仅指的人,也包括物,比如物联网。在阿里主要还是人产生的数据,比如:淘宝收藏夹、交易数据、旺旺聊天记录等等。这里使用比较直接,就直接存放HBase,再读取。难度就是需要支持千万级别的并发写访问及读取,需要解决服务质量的问题,比如GC了,就出现大量的毛刺。

  • 报表类的需求,比如报表、大屏等,最具代表的就是阿里巴巴的天猫双十一大屏。如下图所示: 

云时代的大数据存储-云HBase


不要让自己后悔

请认真读完下面的消息详情,如果你错过了这次机会,那么你将会追悔莫及,如果你想改变,那么我可以让你“脱胎换骨”!

您+拓达IT训练营=100%高薪稳定就业!

云时代的大数据存储-云HBase

云时代的大数据存储-云HBase

云时代的大数据存储-云HBase

云时代的大数据存储-云HBase

云时代的大数据存储-云HBase

云时代的大数据存储-云HBase

云时代的大数据存储-云HBase

我们郑重向您承诺

1、实力派技术讲师亲授

多年从事IT行业的最专业讲师手把手教学

2、紧随新技术的课程升级

 让您轻松运用所学知识拿高薪

3、人才输出严格把关

让您在这里认真学习,严格把控,学到实打实的真本事

4、家门口学习,低成本

不用背井离乡的去外地学习,家门口就有的便利

5、零基础,包学包会

只要你年满20周岁,不论什么学历,只有你有一颗上进的心,我们给您创造机会,我们共同努力

6、零风险、无法就业、可免费重学

不用担心,不用害怕,我们承诺您,就业后薪资不低于5000元,就不了业您可以选择重新学习,直到就业为止!

心动不如行动,来拓达训练营成就自己高薪梦

以上是关于云时代的大数据存储-云HBase的主要内容,如果未能解决你的问题,请参考以下文章

如何基于分布式存储构建大数据时代的云化资源池?

大数据时代的结构化存储—HBase在阿里的应用实践

约见丨七牛云存储李婧:云时代下商业和技术如何连接?

大数据入门第十五天——HBase整合:云笔记项目

HBase福利|阿里云HBase Serverless开启大数据学习与测试的新时代

大数据时代,市场对企业级云存储的需求更加迫切