请说明 hive 中 Sort By,Order By,Cluster By,Distrbute By 各代表什么意思
Posted 闭关苦炼内功
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了请说明 hive 中 Sort By,Order By,Cluster By,Distrbute By 各代表什么意思相关的知识,希望对你有一定的参考价值。
Order by:
会对输入做全局排序,因此只有一个 reducer(多个 reducer 无法保证全局有序)。只有一个reducer,会导致当输入规模较大时,需要较长的计算时间。
Sort by:
不是全局排序,其在数据进入 reducer 前完成排序。
Distribute by:
按照指定的字段对数据进行划分输出到不同的reduce 中。
Cluster by:
除了具有 distribute by 的功能外还兼具 sort by 的功能
以上是关于请说明 hive 中 Sort By,Order By,Cluster By,Distrbute By 各代表什么意思的主要内容,如果未能解决你的问题,请参考以下文章