Hadoop, HBase, Hive, ZooKeeper默认端口说明

Posted 2023-04-22

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Hadoop, HBase, Hive, ZooKeeper默认端口说明相关的知识，希望对你有一定的参考价值。

Hadoop基础之《（11）—整合HBase+Phoenix+Hive—安装Hive》

一、什么是Hive

1、Hive简介
Hive是由Facebook开源，基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。Hive主要是做海量数据的分析和计算的。

2、为什么会有Hive？它解决了什么问题？
下面通过一个案例，来快速了解一下Hive。
例如：需求，统计单词出现个数。
（1）在Hadoop中我们用MapReduce程序实现的，需要些Mapper、Reducer和Driver三个类，并实现对应逻辑，相对繁琐。
（2）如果通过Hive SQL实现，一行就搞定了，简单方便，容易理解。

3、Hive本质
Hive是一个Hadoop客户端，用于将HQL（Hive SQL）转化为MapReduce程序。
（1）Hive中每张表的数据存储在HDFS。
（2）Hive分析数据底层的实现是MapReduce（也可配置为Spack或者Tez）。
（3）执行程序运行在Yarn上。

二、Hive架构原理

1、架构图

2、服务
Metastore：存储元数据，表字段、表数据在hdfs上的路径等
HiveServer2：提供jdbc或odbc访问接口，提供用户认证功能
Hive Client：Hive客户端

3、执行流程
（1）用户创建table
（2）Metastore中记录对应表的路径
（3）在hdfs中映射表关系
（4）用户根据业务需求编写相应的HQL语句
（5）Driver翻译sql为MapReduce
（6）提交yarn执行
（7）将结果写入hdfs路径或临时表
（8）如果是查询语句，返回计算结果

4、用户接口：Client
CLI（command-line interface）、JDBC/ODBC。
说明：JDBC和ODBC的区别。
（1）JDBC的移植性比ODBC好。
（2）两者使用的语言不同，JDBC在Java编程时使用，ODBC一般在C/C++编程时使用。

5、元数据：Metastore
元数据包括：数据库（默认是default）、表名、表的拥有者、列/分区字段、表的类型（是否外部表）、表的数据所在目录等。
默认存储在自带的derby数据库中，由于derby数据库只支持单客户端访问，生产环境中为了多人开发，推荐使用MySQL存储Metastore，但是安装配置太麻烦。

6、驱动器：Driver
（1）解析器（SQLParser）：将SQL字符串转换成抽象语法树（AST）。
（2）语义分析（Semantic Analyzer）：将AST进一步划分为QueryBlock。
（3）逻辑计划生成器（Logical Plan Gen）：将语法树生成逻辑计划。
（4）逻辑优化器（Logical Optimizer）：对逻辑计划进行优化。
（5）物理计划生成器（Physical Plan Gen）：根据优化后的逻辑计划生成物理计划。
（6）物理优化器（Physical Optimizer）：对物理计划进行优化。
（7）执行器（Execution）：执行该计划，得到查询结果并返回给客户端。

三、Hive安装

1、下载安装包

cd /tmp
wget https://dlcdn.apache.org/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz
tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /appserver
cd /appserver
mv apache-hive-3.1.3-bin/ hive

2、配置环境变量

vi /etc/profile
添加
export HIVE_HOME=/appserver/hive
export PATH=$PATH:$HIVE_HOME/bin
使配置生效
source /etc/profile

3、初始化元数据库（默认是derby数据库，不使用）
bin/schematool -dbType derby -initSchema
因为内嵌数据库，只能使用本机命令行客户端，不能使用外部JDBC/ODBC客户端。

四、Hive连接mysql

1、安装mysql
略过
搜索rpm包的网站：https://pkgs.org/

2、下载mysql驱动jar包
将mysql的JDBC驱动拷贝到hive的lib目录下。

cp /tmp/mysql-connector-j-8.0.32.jar $HIVE_HOME/lib

3、mysql中创建metastore数据库和hive用户

create database metastore default charset utf8mb4 collate utf8mb4_general_ci;
create user 'hive'@'%' identified by 'hive';
grant all privileges on metastore.* to 'hive'@'%';
flush privileges;

4、在$HIVE_HOME/conf目录下，建立hive-site.xml文件

cd /appserver/hive/conf
vi hive-site.xml
添加
<configuration>
  <!-- jdbc连接的URL -->
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://192.168.52.11:3306/metastore?serverTimezone=UTC</value>
    <description>
      JDBC connect string for a JDBC metastore.
      To use SSL to encrypt/authenticate the connection, provide database-specific SSL flag in the connection URL.
      For example, jdbc:postgresql://myhost/db?ssl=true for postgres database.
    </description>
  </property>
  <!-- jdbc连接的Driver -->
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
  </property>
  <!-- jdbc连接的username -->
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hive</value>
    <description>Username to use against metastore database</description>
  </property>
  <!-- jdbc连接的password -->
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>hive</value>
    <description>password to use against metastore database</description>
  </property>
  <!-- hive默认在HDFS的工作目录 -->
  <property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/user/hive/warehouse</value>
    <description>location of default database for the warehouse</description>
  </property>
</configuration>

5、初始化hive元数据库

bin/schematool -dbType mysql -initSchema

6、验证元数据是否配置成功

bin/hive
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/appserver/hive/lib/log4j-slf4j-impl-2.17.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/appserver/hadoop/hadoop-3.3.4/share/hadoop/common/lib/slf4j-reload4j-1.7.36.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Hive Session ID = 17c34420-ff60-4aa8-975b-abd7e121e22a

Logging initialized using configuration in jar:file:/appserver/hive/lib/hive-common-3.1.3.jar!/hive-log4j2.properties Async: true
Loading class `com.mysql.jdbc.Driver'. This is deprecated. The new driver class is `com.mysql.cj.jdbc.Driver'. The driver is automatically registered via the SPI and manual loading of the driver class is generally unnecessary.
Hive Session ID = bd993361-f2c9-4cfc-8dff-3e1bf157edf9
Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.
hive> show databases;
OK
default
Time taken: 0.494 seconds, Fetched: 1 row(s)

7、使用hive

hive> create table stu(id int, name string);
OK
Time taken: 0.807 seconds
hive> insert into stu values(1,"ss");
Query ID = root_20230209122931_16eca7d9-d918-4d48-8611-02e51d6b3c9b
Total jobs = 3
Launching Job 1 out of 3
Number of reduce tasks determined at compile time: 1
In order to change the average load for a reducer (in bytes):
  set hive.exec.reducers.bytes.per.reducer=<number>
In order to limit the maximum number of reducers:
  set hive.exec.reducers.max=<number>
In order to set a constant number of reducers:
  set mapreduce.job.reduces=<number>
Starting Job = job_1675910632302_0001, Tracking URL = http://hadoop001:8088/proxy/application_1675910632302_0001/
Kill Command = /appserver/hadoop/hadoop-3.3.4/bin/mapred job  -kill job_1675910632302_0001
Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 1
2023-02-09 12:29:54,504 Stage-1 map = 0%,  reduce = 0%
2023-02-09 12:30:22,464 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 1.84 sec
2023-02-09 12:30:31,668 Stage-1 map = 100%,  reduce = 100%, Cumulative CPU 3.25 sec
MapReduce Total cumulative CPU time: 3 seconds 250 msec
Ended Job = job_1675910632302_0001
Stage-4 is selected by condition resolver.
Stage-3 is filtered out by condition resolver.
Stage-5 is filtered out by condition resolver.
Moving data to directory hdfs://hadoop001:8020/user/hive/warehouse/stu/.hive-staging_hive_2023-02-09_12-29-31_229_8346627652307208831-1/-ext-10000
Loading data to table default.stu
MapReduce Jobs Launched: 
Stage-Stage-1: Map: 1  Reduce: 1   Cumulative CPU: 3.25 sec   HDFS Read: 15184 HDFS Write: 235 SUCCESS
Total MapReduce CPU Time Spent: 3 seconds 250 msec
OK
Time taken: 65.381 seconds
hive> select * from stu;
OK
1	ss
Time taken: 0.516 seconds, Fetched: 1 row(s)

五、hive元数据库介绍

1、DBS表
存储数据库信息。

2、TBLS表
存储我们在hive中创建表的信息。

3、SDS表
存储建的表的位置信息。

4、COLUMNS_V2表
存储和字段相关的信息。

以上是关于Hadoop, HBase, Hive, ZooKeeper默认端口说明的主要内容，如果未能解决你的问题，请参考以下文章

持久化实体 nosql (hadoop/hbase/hive)

无法使用 Hive 版本 1.1.0 HBase 版本 0.94.8 和 hadoop 版本 2.7.0 从 Hive 创建 Hbase 表

Hadoop实习操作练习1（Hive与HBase初探）

在 Hadoop 中使用 HBase 而不是 Hive [重复]

HBase Hive

Hadoop、Hbase、Hive版本兼容性