HIVE学习记录-数据模型以及和SQL的对比

Posted Kilig*

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了HIVE学习记录-数据模型以及和SQL的对比相关的知识,希望对你有一定的参考价值。

HIVE中的数据模型

  • Table-表

  • Partition-分区
    HIVE的一种优化手段,根据分区列(比如日期“day”)的值将表划分为不同分区,可以提高查询效率。各个分区以子文件夹的形式存在。一个文件夹表示一个分区

  • Bucket-分桶
    HIVE的一种优化手段,根据表中的字段,比如“编号ID”经过Hash计算将数据继续划分为若干个小文件。

    分桶与不分桶的对比

HIVE与mysql的对比

HIVE是做海量数据的离线分析是OLAP,而SQL是OLTP
OLAP和OLTP对比

Presto与Hive SQL对比

近期工作涉及到数据治理,对一些老慢任务优化改造,主要是Hive转Presto,Hive实在是太慢了~
本篇记录Hive转Presto遇到的问题,希望对你们有所帮助

以上是关于HIVE学习记录-数据模型以及和SQL的对比的主要内容,如果未能解决你的问题,请参考以下文章

hadoop生态系统学习之路hive的简单使用

Hive SQL使用Skewed方式建表解决数据倾斜小记

Presto与Hive SQL对比

Presto与Hive SQL对比

数据库里面mysql和hive区别是啥?

Hive sql和Presto sql的一些对比