Hive数据模型

Posted 2021-04-29 互联网IT信息

1. Hive的数据存储

1） hive的所有数据存储基于hadoop的HDFS，hive没有专门的数据存储格式（可支持Text，SequenceFile，ParquetFile，RCFILE等）

2）在创建表时，指定Hive 数据的列分隔符和行分隔符，Hive 就可以解析数据

3）存储结构主要包括：数据库、文件、表、视图、索引

2. Hive的数据模型

Hive 中包含以下数据模型：DB、Table，External Table，Partition，Bucket

1） db：在hdfs中表现为${hive.metastore.warehouse.dir}目录下一个文件夹

2） table：在hdfs中表现所属db目录下一个文件夹3） external table：外部表, 与table类似，不过其数据存放位置可以在任意指定路径。普通表:删除表后,hdfs上的文件都删了；外部表删除后, hdfs上的文件没有删除, 只是把文件删除了4） partition：在hdfs中表现为table目录下的子目录5） bucket：桶, 在hdfs中表现为同一个表目录下根据hash散列之后的多个文件, 会根据不同的文件把数据放到不同的文件中

3. Hive的数据类型

Hive所有数据类型分为四种类型：

1）列类型

列类型被用作Hive的列数据类型，具体包括：

整型、字符串类型、时间类型、日期、小数点类型、联合类型

2）文字

浮点类型、十进制类型

3）Null 值

4）复杂类型

数组、映射、结构体