HBase 复习 ---- chapter01

Posted 2023-03-02 在人间负债^

HBase 复习 ---- chapter01

• 1. 基本概念
• 2. HBase-install

1. 基本概念

1. 大数据要解决的问题是什么？
   海量数据的存储 + 海量数据的分析

2. 海量数据的存储：HDFS

3. 海量数据的分析：MapReduce

4. Hadoop = HDFS + MapReduce + Common

5. HDFS：是主从结构体系。1：N

6. HDFS = namenode + datanode + secondaryNamenode

7. 数据的类型：结构化数据 + 半结构化数据 + 非结构化数据

8. HDFS 的特点：（硬盘）
   1、它可以存储任意类型的数据
   2、适合一次写入，多次读取的场景
   3、适合离线数据批处理的读取

但是，在生活中需要很多低延迟处理（实时处理）。那么我们 HDFS 适合高延迟处理
所以我们对 HDFS 进行封装，封装的框架我们称之为 HBase

9. HBase 的特点：（数据库）
   1、HBase 是一个面向列的 NoSQL 数据管理系统。
   2、对 HDFS 依赖。运行在 HDFS 之上。
   3、它也可以存储任意类型的数据。
   4、适合数据的实时读写。
   5、主要用 java 编写，适合稀疏数据集。

10. HBase 的使用场景：海量数据的存储和海量数据的实时分析。

11. RDBMS：关系型数据库关系型 Relational Database Management System (RDBMS)
    关系型数据库管理系统是一种具有基于行的表结构的数据库管理系统
    常见的 RDBMS：mysql + SqlServer + Oracle（收费）

12. HBase 的特性：
    NoSql
    无固定模式
    面向列
    可扩展
    动态
    检索速度快
    适合所有数据存储
    适合稀疏表

13. RDBMS 的特性：
    SQL
    固定模式
    面向行
    不可扩展
    静态
    检索速度慢
    适合结构化数据存储
    不适合稀疏表

2. HBase-install

我们的 HBase 安装需要：JAVA – Hadoop – ZooKeeper – HBase

1. 启动镜像 zookeeper-3.0
2. 验证 java + hadoop

java -version
hadoop version

3. 启动 hadoop

 /usr/local/hadoop-2.9.2/sbin/start-all.sh
 jps

3122 NodeManager
2595 DataNode
2437 NameNode
2984 ResourceManager
2796 SecondaryNameNode
3439 Jps

4. 启动 zookeeper

 cd /usr/local/zookeeper-3.6.1/bin/
 ./zkServer.sh status
 ./zkServer.sh start
 jps
     
 4043 QuorumPeerMain

5. 下载 hbase-2.2.4-bin.tar.gz（如果没有这个版本，随机选择一个版本，修改一下访问路径就可以了）

https://hbase.apache.org/downloads.html

6. 上传 /home/niit/hbase-2.2.4-bin.tar.gz
7. 解压 /usr/local/

sudo tar -zxvf hbase-2.2.4-bin.tar.gz

8. 移动

 sudo mv ./hbase-2.2.4 /usr/local/
 cd /usr/local/

9. 修改 hbase-2.2.4 用户

sudo chown -R niit:niit hbase-2.2.4/

---------------配置Hbase-------------------------

10. 修改配置文件 /usr/local/hbase-2.2.4/conf/hbase-env.sh

 vi hbase-env.sh 

 #配置JAVA_HOME
 export JAVA_HOME=/usr/local/jdk1.8.0_231
 #设置使用你自定义的zookeeper
 export HBASE_MANAGES_ZK=false

11. vi hbase-site.xml ( 详见配置文件 hbase-site.xml )

<configuration>

<property>
        <name>hbase.rootdir</name>
        <value>hdfs://192.168.56.104:9000/hbase</value>
</property>
<property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
</property>
<property>
        <name>dfs.replication</name>
        <value>1</value>
</property>
<property>
        <name>hbase.unsafe.stream.capability.enforce</name>
        <value>false</value>
</property>
<property>
        <name>zookeeper.znode.parent</name>
        <value>/hbase</value>
</property>
<property>
        <name>hbase.zookeeper.quorum</name>
        <value>192.168.56.104</value>
</property>
<property>
        <name>hbase.coprocessor.abortonerror</name>
        <value>true</value>
</property>


</configuration>

---------------------启动HBase----------------------------

12. cd /usr/local/hbase-2.2.4/bin/./start-hbase.sh

21043 HRegionServer
20922 HMaster

13. 执行hbase执行

./hbase shell