hive 行分隔符怎么指定? 有指定的必要吗?
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hive 行分隔符怎么指定? 有指定的必要吗?相关的知识,希望对你有一定的参考价值。
参考技术A 没有必要,因为默认的分隔符就只有一,而且只支持这个默认的! 参考技术B 默认换行符,没必要指定Hive数据模型
1. Hive的数据存储
1) hive的所有数据存储基于hadoop的HDFS,hive没有专门的数据存储格式(可支持Text,SequenceFile,ParquetFile,RCFILE等)
2)在创建表时,指定Hive 数据的列分隔符和行分隔符,Hive 就可以解析数据
3)存储结构主要包括:数据库、文件、表、视图、索引
2. Hive的数据模型
Hive 中包含以下数据模型:DB、Table,External Table,Partition,Bucket
1) db:在hdfs中表现为${hive.metastore.warehouse.dir}目录下一个文件夹
2) table:在hdfs中表现所属db目录下一个文件夹3) external table:外部表, 与table类似,不过其数据存放位置可以在任意指定路径。普通表:删除表后,hdfs上的文件都删了;外部表删除后, hdfs上的文件没有删除, 只是把文件删除了4) partition:在hdfs中表现为table目录下的子目录5) bucket:桶, 在hdfs中表现为同一个表目录下根据hash散列之后的多个文件, 会根据不同的文件把数据放到不同的文件中
3. Hive的数据类型
Hive所有数据类型分为四种类型:
1)列类型
列类型被用作Hive的列数据类型,具体包括:
整型、字符串类型、时间类型、日期、小数点类型、联合类型
2)文字
浮点类型、十进制类型
3)Null 值
4)复杂类型
数组、映射、结构体
以上是关于hive 行分隔符怎么指定? 有指定的必要吗?的主要内容,如果未能解决你的问题,请参考以下文章