Hive模式设计

Posted 2021-04-29 大数据技术官

来源：CSDN

按天划分的表：使用分区

分区：

一个理想的分区方案不应该导致产生太多的分区和文件夹目录，并且每个目录下的文件应该足够大，应该是文件系统中块大小的若干倍。

如何保证：

按时间范围进行分区的一个好的策略就是按照不同的时间粒度来确定合适大小的数据积累量，而且安装这个时间粒度。

另一个解决方案是使用两个级别的分区并且使用不同的维度。

最后如果用户找不到好的分区方案，可以使用"分桶表数据存储"。

同一份数据的多重处理：提高效率

from history

insert overwrite table sales select * where action="purchased"

insert overwrite table credits select * where action="returned" ;

分桶表数据存储：

分区提供一个隔离数据和优化查询的便利方式，但是并不是所有的数据集都可形成合理的分区。

分桶是将数据集分解成更容易管理的若干部分的另一个技术。

create table weblog(

userId int，

url string ,

sourceIp string

)

partitioned by (dt string)

clustered by (userId) into 96 buckets ;

下面介绍如何在insert...table语句时正确的填充表。

首先我们需要设置一个属性来强制Hive为目标表的分桶初始化过程设置一个正确的reducer个数。然后我们在执行一个查询来填充分区。

set hive.enforce.bucketing = true ;

from raw_logs 

insert overwrite table weblog

partition (dt="2009-02-25")

select userId,url,sourceIp where dt="2009-02-25" ;

注：如果我们没有使用hive.enforce.bucketing属性，那么我们就需要自己设置和分桶个数相匹配的reducer的个数。例如，使用set mapred.reduce.task = 96 ,然后在insert语句中，需要再select语句后增加cluster by语句。

分桶好处：

因为桶的数量是固定的，所以没有数据波动；

桶很适合抽样；

分桶有利于执行高效的map-side join。