关于hive的存储格式

Posted 曹军

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了关于hive的存储格式相关的知识,希望对你有一定的参考价值。

1.存储格式

  textfile

  rcfile

  orc

  parquet

 

2.存储方式

  按行存储

    -》textfile

  按列存储

    -》parquet

 

3.压缩比

  

 

4.存储textfile的原文件

  

  并加载数据

  

5.大小

  

 

6.保存为textfile,经过mapreduce

  

 

7.结果的大小

  

 

8.保存为orc格式

  

 

9.大小

  

 

 10.存储为parquet

  

 

11.大小

  

 

12.使用命令求大小

   bin/hdfs dfs -du -s -h /user/hive/warehouse/track_log.db/yhd_par

  

 

以上是关于关于hive的存储格式的主要内容,如果未能解决你的问题,请参考以下文章

「Hive进阶篇」详解存储格式及压缩方式

关于hive当中表的存储和压缩方式总结

hive存储parquet表

快速了解HIVE文件存储格式

Hive文件存储格式

分布式环境下hive的外部表是如何存储的