Hive分区参考

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hive分区参考相关的知识,希望对你有一定的参考价值。

参考技术A hive 为了避免全表查询,从而引进分区,将数据按目录进行划分,减少不必要的查询,从而提高效率

mysql的分区字段用的是表内字段,hive的分区字段采用表外字段,也就是使用伪字段,分区字段在创建表的时候指定

hive.exec.dynamic.partition=true; 是否允许动态分区
hive.exec.dynamic.partition.mode=strict/nostrict; 动态区模式为严格模式
hive.exec.max.dynamic.partitions=1000; 允许最大的动态分区
hive.exec.max.dynamic.partitions.pernode=100; 单个节点允许最大分区

strict:严格模式,最少需要一个静态分区列(指定固定值)
nostrict:费严格模式,允许所有的分区字段都为动态。

hive的静态分区:分区数据已知
hive的动态分区:分区数据未知(不知道有多少个分区)
hive的混合分区:有动态有静态

分区使用表外的字段,分桶使用表内字段
分区可以使用load加载数据,而分桶就必须要使用insert into方式加载数据
分区常用;分桶少用。

以上是关于Hive分区参考的主要内容,如果未能解决你的问题,请参考以下文章

hive中怎样删除分区

hive创建分区 9870查询不到

hive的严格模式和分区

hive外部表分区

hive中怎样删除分区

hive修改分区字段值