Hadoop3集群搭建之——hbase安装及简单操作

Posted 2020-11-06 Flink菜鸟

折腾了这么久，hbase终于装好了

-------------------------

上篇：

Hadoop3集群搭建之——虚拟机安装

Hadoop3集群搭建之——安装hadoop，配置环境

Hadoop3集群搭建之——配置ntp服务

Hadoop3集群搭建之——hive安装

在安装之前，查了一下资料，关于hbase与hadoop兼容性的。

最开始看hadoop的时候，在好像慕课网上看的，hadoop全家桶之间的兼容性问题（以前被java web的各种jar包坑坏了的Java菜鸟，心理有点小阴影），还有特意出的cdh版本（Cloudera 公司出的，每个hadoop的cdh版本，都有对应的其他组件的cdh版本）

然后，感觉就坏了，我装的hadoop 3.0.1是最新出的，hbase的最新版本肯定对应不上啊。

然后我就发现了下面这张，hbase 兼容hadoop的版本图：

"S" = supported  

"X" = not supported 

"NT" = Not tested

果然，hadoop3没有对应的hbase版本

下载最新的hbase2.0.2，查看lib目录发现hadoop 的版本是： 2.7.4

 

犹豫再三

突然想起，公司大神搭的新平台就是hadoop3，里面也有用到hbase，看下版本，得到如下答案：

hbase-1.2.6

what fuck？ 看不懂，不过不影响，模仿一下。/偷笑/偷笑

然后就去官网： 下载地址    下个了1.2.6。

安装步骤如下：

1、上传安装包到服务器、解压，重命名：

tar -zxvf hbase-1.2.6-bin.tar.gz
mv hbase-1.2.6-bin.tar.gz hbase1.2.6

2、配置hbase环境变量

vi .baserc

#添加如下内容

　#hbase
　HBASE_HOME=/opt/hadoop/hbase1.2.6
  export PATH=$HBASE_HOME/bin:$PATH

#使配置文件生效

source .baserc

3、修改 /conf/hbase-env.sh

找到如下两行，关闭注释，修改如下：

export JAVA_HOME=/opt/hadoop/jdk1.8  #配置jdk路径

#使用hbase自带的zookeeper
export HBASE_MANAGES_ZK=true  

4、修改/conf/hbase-site.xml

添加如下内容：

 23 <configuration>
 24         <property>
 25 　　　　　　　　<name>hbase.rootdir</name> <!-- hbase存放数据目录 -->
 26 　　　　　　　　<value>hdfs://venn05:8020/hbase/hbase_db</value>
 27 
 28 　　　　　　　　　　<!-- 端口要和Hadoop的fs.defaultFS端口一致-->
 29 　　　　　　</property>
 30 　　　　　　<property>
 31 　　　　　　　　<name>hbase.cluster.distributed</name> <!-- 是否分布式部署 -->
 32 　　　　　　　　<value>true</value>
 33 　　　　　　</property>
 34 　　　　　　<property>
 35 　　　　　　　　<name>hbase.zookeeper.quorum</name> <!-- zookooper 服务启动的节点，只能为奇数个 -->
 36 　　　　　　　　<value>venn05,venn06,venn07</value>
 37 　　　　　　</property> 　　　
 38 
 39 　　　　　　　<property><!--zookooper配置、日志等的存储位置，必须为以存在 -->
 40 　　　　　　　　　　<name>hbase.zookeeper.property.dataDir</name>
 41 　　　　　　　　　　<value>/opt/hadoop/hbase1.2.6/hbase/zookeeper</value>
 42 　　　　　　　</property>
 43             <property><!--hbase web 端口 -->
 44   　　　　　　　　　　<name>hbase.master.info.port</name>
 45  　　　　　　　　　　<value>16010</value>
 46  　　　　　　　</property>
 47 </configuration>

注：zookeeper有这样一个特性：集群中只要有过半的机器是正常工作的，那么整个集群对外就是可用的。
也就是说如果有2个zookeeper，那么只要有1个死了zookeeper就不能用了，因为1没有过半，
所以2个zookeeper的死亡容忍度为0；同理，要是有3个zookeeper，一个死了，还剩下2个正常的，
过半了，所以3个zookeeper的容忍度为1；
同理你多列举几个：2->0;3->1;4->1;5->2;6->2会发现一个规律，2n和2n-1的容忍度是一样的，
都是n-1，所以为了更加高效，何必增加那一个不必要的zookeeper

5、配置slaver

修改 regionservers 文件，删除localhost，添加region server 的ip

[hadoop@venn05 conf]$ more regionservers 
venn06
venn07
venn08

5、发送.baserc 和hbase到其他节点

scp .bashrc venn06:/opt/hadoop/
scp .bashrc venn07:/opt/hadoop/
scp .bashrc venn08:/opt/hadoop/
scp -r hbase1.2.6 venn06:/opt/hadoop/
scp -r hbase1.2.6 venn07:/opt/hadoop/
scp -r hbase1.2.6 venn08:/opt/hadoop/

配置完成，启动看下效果

hbase 启动命令：

start-all.sh #启动hadoop
start-hbase.sh #会自动启动其他节点

查看主节点进程：

[hadoop@venn05 conf]$ jps
3072 NodeManager
5009 Jps
2180 NameNode
2533 SecondaryNameNode
3703 HMaster
4043 Main
2765 ResourceManager
3566 HQuorumPeer

查看其他节点进程：

[hadoop@venn06 ~]$ jps
2225 HQuorumPeer
2386 HRegionServer
2039 NodeManager
1913 DataNode
3262 Jps

查看web界面：

地址：http://venn05:16010 如下：

启动成功，尝试一下：

启动hbase 客户端：

[hadoop@venn05 ~]$ hbase shell  #启动hbase客户端
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/hadoop/hbase1.2.6/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/hadoop/hadoop3/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/hadoop/hive2.3.3/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
HBase Shell; enter \'help<RETURN>\' for list of supported commands.
Type "exit<RETURN>" to leave the HBase Shell
Version 1.2.6, rUnknown, Mon May 29 02:25:32 CDT 2017

hbase(main):001:0> create \'test\',\'cf\'  #创建一个test表，一个cf 列簇
0 row(s) in 2.4480 seconds

=> Hbase::Table - test
hbase(main):002:0> list #查看hbase 所有表
TABLE
test
venn
2 row(s) in 0.0280 seconds

=> ["test", "venn"]
hbase(main):003:0> put \'test\',\'1000000000\',\'cf:name\',\'venn\' #put一条记录到表test，rowkey 为 1000000000，放到 name列上
0 row(s) in 0.1650 seconds

hbase(main):004:0> put \'test\',\'1000000000\',\'cf:sex\',\'male\'  #put一条记录到表test，rowkey 为 1000000000，放到 sex列上
0 row(s) in 0.0410 seconds

hbase(main):005:0> put \'test\',\'1000000000\',\'cf:age\',\'26\'    #put一条记录到表test，rowkey 为 1000000000，放到 age列上
0 row(s) in 0.0170 seconds

hbase(main):006:0> count \'test\'  #查看表test 有多少条数据
1 row(s) in 0.1220 seconds

=> 1
hbase(main):007:0> get \'test\',\'cf\'
COLUMN CELL
0 row(s) in 0.0240 seconds

hbase(main):008:0> get \'test\',\'1000000000\'  #获取数据
COLUMN CELL
cf:age timestamp=1526571007485, value=26
cf:name timestamp=1526571006326, value=venn
cf:sex timestamp=1526571006411, value=male
3 row(s) in 0.0250 seconds

hbase(main):009:0> disable \'test\'  #禁用表 test
0 row(s) in 2.2670 seconds

hbase(main):010:0> drop \'test\'  #删除表
0 row(s) in 1.2490 seconds

hbase(main):011:0> list
TABLE
venn
1 row(s) in 0.0100 seconds

=> ["venn"]

 

搞定，收工