hive 基础知识

Posted 2022-05-08 tudousiya

hadoop hive 

1）2007年hive出世，

2）2014hive0.13.0是非常的流行（先对来说比较稳定）

3）2015hive1.2.0（相对来说只不过是升级）

4）2016hive2.1.0（更新了很多的功能）

1.1hive元数据管理

1）通过hive对元数据进行建模加工，变成表的形式，建立数据仓库管理

2）建立一套类似于关系型数据库的形式，并不是存储在hive上，而是存储在关系型的数据库，而在hive现实中的元数据并不是存储在hadoop上

3）mysql是提供hive的存储

1.2hive的体系架构

处理大型的数据，适合做P处理的数据，

metastore：关系型数据库

Driver:核心驱动 Server：链接jdbc

1.3常用的命令：

1）Belline模式

2）命令行模式

formatted

1.4数据类型

String（万能），decimal (数组的计算)

复杂数据类型

array数组[‘apple‘,‘Orange‘,‘Mongo‘]

map(映射)[‘a‘:‘apple‘,‘o‘:‘orange‘]键值对

相当于一个技能水平到达了多少分

struct（可以有多个列）

1.5 元数据表结构

database是副文件夹，table是子文件夹

partition：对应的是文件夹来分析数据

buckets:分桶 查询连接的优化，决定数据如何分配，是数据文件的一部分，对应的是一个数据文件（文件数据上的分离）

row(行)：对应的是一个数据文件是横看

views：查询数据数据的成像，不存数据

Index：索引，对应的是文件夹和文件

1.6 hiveDatabase（数据库）

创建database:create database name

将要切换database:use database name

默认路径：/user/hive/warehouse

1.7 hive Tables（外部表于内部表）

1）external tables(外部表)：关键字创建表格时添加Location ‘地址‘，删除表不会删除数据

2）内部表（管理表）：数据完全由Hive管理，删除表（元数据）会删除数据

hive建表语句

必写：row format delimited;(delimited 分割)

每个列进行|分割：fields terminated by ‘|‘

数组我们用，分割：collection items terminated by ‘,‘

键值对我们用：分割：Map keys terminated by ‘:‘

 

 

?