hive 行分隔符怎么指定? 有指定的必要吗?

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hive 行分隔符怎么指定? 有指定的必要吗?相关的知识,希望对你有一定的参考价值。

参考技术A 没有必要,因为默认的分隔符就只有一,而且只支持这个默认的! 参考技术B 默认换行符,没必要指定

Hive数据模型

1. Hive的数据存储


1) hive的所有数据存储基于hadoop的HDFS,hive没有专门的数据存储格式(可支持Text,SequenceFile,ParquetFile,RCFILE等)

2)在创建表时,指定Hive 数据的列分隔符和行分隔符,Hive 就可以解析数据

3)存储结构主要包括:数据库、文件、表、视图、索引


2. Hive的数据模型


Hive 中包含以下数据模型:DB、Table,External Table,Partition,Bucket


1) db:在hdfs中表现为${hive.metastore.warehouse.dir}目录下一个文件夹

2) table:在hdfs中表现所属db目录下一个文件夹3) external table:外部表, 与table类似,不过其数据存放位置可以在任意指定路径。普通表:删除表后,hdfs上的文件都删了;外部表删除后, hdfs上的文件没有删除, 只是把文件删除了4) partition:在hdfs中表现为table目录下的子目录5) bucket:桶, 在hdfs中表现为同一个表目录下根据hash散列之后的多个文件, 会根据不同的文件把数据放到不同的文件中


3. Hive的数据类型


Hive所有数据类型分为四种类型:


1)列类型

列类型被用作Hive的列数据类型,具体包括:

整型、字符串类型、时间类型、日期、小数点类型、联合类型

2)文字

浮点类型、十进制类型

3)Null 值

4)复杂类型

数组、映射、结构体

以上是关于hive 行分隔符怎么指定? 有指定的必要吗?的主要内容,如果未能解决你的问题,请参考以下文章

hive建表-指定文件类型和压缩类型以及字段分隔符

Hive SQL DDL语法 - 指定分隔符指定存储路径

hive中创建外部分区表使用location是指定数据存放位置还是指数据来源

hive的空格怎么查询

Hive建表-分隔符

hive数据加载