HIVE学习记录-数据模型以及和SQL的对比
Posted Kilig*
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了HIVE学习记录-数据模型以及和SQL的对比相关的知识,希望对你有一定的参考价值。
HIVE中的数据模型
-
Table-表
-
Partition-分区
HIVE的一种优化手段,根据分区列(比如日期“day”)的值将表划分为不同分区,可以提高查询效率。各个分区以子文件夹的形式存在。一个文件夹表示一个分区
-
Bucket-分桶
HIVE的一种优化手段,根据表中的字段,比如“编号ID”经过Hash计算将数据继续划分为若干个小文件。
分桶与不分桶的对比
HIVE与mysql的对比
HIVE是做海量数据的离线分析是OLAP,而SQL是OLTP
OLAP和OLTP对比
Presto与Hive SQL对比
近期工作涉及到数据治理,对一些老慢任务优化改造,主要是Hive转Presto,Hive实在是太慢了~
本篇记录Hive转Presto遇到的问题,希望对你们有所帮助
以上是关于HIVE学习记录-数据模型以及和SQL的对比的主要内容,如果未能解决你的问题,请参考以下文章