好程序员大数据分享:Hbase精解

Posted gcghcxy

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了好程序员大数据分享:Hbase精解相关的知识,希望对你有一定的参考价值。

程序员大数据分享:Hbase精解为什么有hbase?hbase是什么?Hbase的架构。

 

  一、 为什么有hbase?

 

  数据量越来越大,传统的关系型数据库不能满足存储和查询的需求。而hive虽然能满足存储的要求,但是hive不能满足非结构化、半结构化数据的存储和查询。

 

  二、hbase是什么?

 

  hbase是一个开源的、分布式的、多版本的、可扩展的非关系型数据库。hbasebigtable的开源java版本,建立在hdfs之上,提供高可靠性的、高性能、列式存储、可伸缩、实时读写的nosql数据库系统。适用的场景如:需要对海量非结构化的数据进行存储。

 

  需要随机近实时的读写管理数据。

 

  三、hbase的架构

 

  client\zookeeper\hmaster\

 

  hregionserver\hlog\hregion\memstore\storefile\hfile

 

  clienthbase的客户端,包含访问hbase的接口(linux shell java api)

 

  client维护一些cache来加快访问hbase的速度,比如region的位置信息。

 

  zookeeper:监控hmaster的状态,保证有些仅有一个activehmaster,达到高可用。存储所有region的寻址入口,--root表在那台服务器上。实时监控hregionserver的状态,将regionserver的上下线信息实时通知给hmaster。存储hbase的所有表的信息(hbase的元数据)

 

  hmaster(hbase的老大)regionserver分配region(新建表等)。负责regionserver的负载均衡。负责region的重新分配(hregionserver异常、hregion裂变)hdfs上的垃圾文件回收。处理schema的更新请求。

 

  hregionserver(hbase的小弟)hregionserver维护master分配给他的region(管理本机器上region)。处理client对这些regionIO请求,并和hdfs进行交互

 

  region server负责切分在运行过程中变大的region

 

  hlog:对hbase的操作进行记录,使用WAL写数据,优先写入log,然后再写入memstore,以防数据丢死可以进行回滚。

 

  hregionhbase中分布式存储和负载均衡的最小单元,表或者表的一部分。

 

  store:相当于一个列簇。

 

  memstore128M内存缓冲区,用于将数据批量刷新到hdfs上。

 

  hstorefile(hfile)hbase中的数据是以hfile的形式存储在hdfs上。

 

  各组件间的数量关系:

 

  hmaster:hregionserver=1:n

 

  hregionserver:hregion=1:n

 

  hregionserver:hlog=1:1

 

  hregion:hstore=1:n

 

  store:memstore=1:1

 

  store:storefile=1:n

 

  storefile:hfile=1:1

 

  hbase关键字词:

 

  rowkey:行键,和mysql的主键是一样的,不允许重复,有顺序。

 

  columnfamily:列簇(列的集合)

 

  column:列。

 

  timestamp:时间戳,默认显示最新的时间戳。

 

  version:版本号。

 

  cell:单元格。

 

  四、hbasehadoop的关系

 

  hbase是基于hadoophbase的存储依赖于hdfs。具体说hbase的特点:

 

  模式:无模式。

 

  数据类型:单一 byte[]

 

  多版本:每个值都可以有多个版本。

 

  列式存储:一个列簇存储到一个目录。

 

  稀疏存储:如果key-valuenull,则将不占用存储空间。

 

  再说hbase的安装:

 

  1standalone模式

 

  1)解压并配置环境变量

 

  tar -zxvf hbase-1.2.1-bin.tar.gz -C /usr/local

 

  cd /usr/local

 

  vi /etc/profile

 

  source /etc/profile

 

  2)测试hbase的安装

 

  hbase version

 

  配置hbase的配置文件

 

  vi conf/hbase-env.sh

 

  JAVA_HOME

 

  注意:

 

  # Configure PermSize. Only needed in JDK7. You can safely remove it for JDK8+

 

  export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"

 

  export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"

 

  vi hbase-site.xml

 

  hbase.rootdir

 

  file:///usr/local/hbasedata

 

  hbase.zookeeper.property.dataDir

 

  /usr/local/zookeeperdata

 

  启动hbase服务:

 

  bin/start-hbase/sh

 

  启动客户端:

 

  bin/hbase shell

 

  2、伪分布式

 

  3、全分布式

 

  解压并配置环境变量

 

  配置hbase的配置文件

 

  vi conf/hbase-env.sh

 

  export HBASE_MANAGES_ZK=false

 

  vi regionservers

 

  vi backup-masters

 

  vi hbase-site.xml

 

  hbase.cluster.distributed

 

  true

 

  hbase.rootdir

 

  hdfs://qianfeng/hbase

 

  hbase.zookeeper.property.dataDir

 

  /usr/local/zookeeperdata

 

  hbase.zookeeper.quorum

 

  hadoop05:2181,hadoop06:2181,hadoop07:2181

 

  注意:

 

  如果hdfs是高可用的,要讲hadoop下的core-site.xmlhdfs-site.xml copyhbase/conf目录下。

 

  分发:

 

  scp -r hbase-1.2.1 [email protected]:$PWD

 

  scp -r hbase-1.2.1 [email protected]:$PWD

 

  启动:

 

  1)启动zk

 

  2)启动hdfs

 

  3)启动hbase

 

  hbase集群的时间必须同步。

 

  hmaster16010

 

  hregionserver16030

 

  hbaseshell操作

 

  help

 

  help "COMMAND"

 

  help "COMMAND_GROUP"

 

  列举出当前namespace下的所有表

 

  list

 

  创建表:

 

  create ‘test‘,‘f1‘, ‘f2‘

 

  namespace

 

  hbase没有库的概念,但是有名称空间或者组的概念,namespace相当于()

 

  hbase默认有两个组:

 

  default

 

  hbase

 

  列举出所有的namespcae

 

  list_namespace

 

  list_namespace_tables ‘hbase‘

 

  create_namespace ‘ns1‘

 

  describe_namespace ‘ns1‘

 

  alter_namespace ‘ns1‘, {METHOD => ‘set‘, ‘NAME‘ => ‘gjz1‘}

 

  alter_namespace ‘ns1‘, {METHOD => ‘unset‘, NAME => ‘NAME‘}

 

  drop_namespace ‘ns1‘ ###只能删除一个空的namespace

 

  DDL:

 

  Group name: ddl

 

  Commands: alter, alter_async, alter_status, create, describe, disable, disable_all, drop, drop_all, enable, enable_all, exists, get_table, is_disabled, is_enabled, list, locate_region, show_filters

 

  创建表:

 

  create ‘test‘,‘f1‘, ‘f2‘

 

  create ‘ns1:t_userinfo‘,{NAME=>‘base_info‘,BLOOMFILTER => ‘ROWCOL‘,VERSIONS => ‘3‘}

 

  create ‘ns1:t1‘, ‘f1‘, SPLITS => [‘10‘, ‘20‘, ‘30‘, ‘40‘] --事先分配好region所管辖的rowkey的范围。

 

  修改表:(有则更新,无则新增)

 

  alter ‘ns1:t_userinfo‘,{NAME=>‘extra_info‘,BLOOMFILTER => ‘ROW‘,VERSIONS => ‘2‘}

 

  alter ‘ns1:t_userinfo‘,{NAME=>‘extra_info‘,BLOOMFILTER => ‘ROWCOL‘,VERSIONS => ‘5‘}

 

  删除列簇:

 

  alter ‘ns1:t_userinfo‘, NAME => ‘extra_info‘, METHOD => ‘delete‘

 

  alter ‘ns1:t_userinfo‘, ‘delete‘ => ‘base_info‘

 

  删除表:(先要禁用表)

 

  disable ‘ns1:t1‘

 

  drop ‘ns1:t1‘

 

  DML:

 

  Group name: dml

 

  Commands: append, count, delete, deleteall, get, get_counter, get_splits, incr, put, scan, truncate, truncate_preserve

 

  插入数据:(不能一次性插入多列)

 

  put ‘ns1:test‘,‘u00001‘,‘cf1:name‘,‘zhangsan‘

 

  put ‘ns1:t_userinfo‘,‘rk00001‘,‘base_info:name‘,‘gaoyuanyuan‘

 

  put ‘ns1:t_userinfo‘,‘rk00001‘,‘extra_info:pic‘,‘picture‘

 

  更新数据:

 

  put ‘ns1:t_userinfo‘,‘rk00001‘,‘base_info:name‘,‘zhouzhiruo‘

 

  put ‘ns1:t_userinfo‘,‘rk00002‘,‘base_info:name‘,‘zhaoming‘

 

  表扫描(scan)

 

  scan ‘ns1:t_userinfo‘

 

  scan ‘ns1:t_userinfo‘,{COLUMNS => [‘base_info:name‘,‘base_info:age‘]}

 

  设置查询条件:(包头不包尾)

 

  scan ‘ns1:t_userinfo‘,{COLUMNS => [‘base_info:name‘,‘base_info:age‘],STARTROW=>‘rk000012‘,LIMIT=>2}

 

  scan ‘ns1:t_userinfo‘,{COLUMNS => [‘base_info:name‘,‘base_info:age‘],STARTROW=>‘rk000012‘,ENDROW=>‘rk00002‘,LIMIT=>2}

 

  查询数据:(GET)

 

  get ‘ns1:t_userinfo‘,‘rk00001‘

 

  get ‘ns1:t_userinfo‘,‘rk00001‘,{TIMERANGE=>[1534136591897,1534136667747]}

 

  get ‘ns1:t_userinfo‘,‘rk00001‘,{COLUMN=>[‘base_info:name‘,‘base_info:age‘],VERSIONS =>4}

 

  get ‘ns1:t_userinfo‘,‘rk00001‘,{TIMESTAMP=>1534136580800}

 

  删除数据:(DELETE)

 

  delete ‘ns1:t_userinfo‘,‘rk00002‘,‘base_info:age‘

 

  ‘ns1:t_userinfo‘,‘rk00001‘,{TIMERANGE=>[1534138686498,1534138738862]}

 

  删除指定的版本:(往上删除版本)

 

  delete ‘ns1:t_userinfo‘,‘rk00001‘,‘base_info:name‘,TIMESTAMP=>1534138686498

 

  表判断:

 

  exists ‘ns1:t_userinfo‘

 

  disable ‘ns1:t_userinfo‘

 

  enable ‘ns1:t_userinfo‘

 

  desc ‘ns1:t_userinfo‘

 

  统计表:(统计效率较差,不建议使用)

 

  count ‘ns1:t_userinfo‘

 

  清空表:

 

  truncate ‘ns1:test‘

 

 

  学习大数据开发,内容包含Linux&&Hadoop生态体系、大数据计算框架体系、云计算体系、机器学习&&深度学习。根据好程序员提供的大数据学习路线图可以让你对学习大数据需要掌握的知识有个清晰的了解,并快速入门大数据开发。

以上是关于好程序员大数据分享:Hbase精解的主要内容,如果未能解决你的问题,请参考以下文章

好程序员分享自学大数据入门干货

好程序员大数据学习路线分享scala单列和伴生对象

好程序员大数据学习路线Hadoop学习干货分享

好程序员大数据学习路线分享高阶函数

好程序员分享大数据教程之线程高级部分

好程序员大数据学习路线分享Scala系列之泛型