hive中order by,sort by, distribute by, cluster by作用以及用法
Posted 记忆残留
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hive中order by,sort by, distribute by, cluster by作用以及用法相关的知识,希望对你有一定的参考价值。
1. order by
2. sort by
Hive中指定了sort by,那么在每个reducer端都会做排序,也就是说保证了局部有序(每个reducer出来的数据是有序的,但是不能保证所有的数据是有序的,除非只有一个reducer),好处是:执行了局部排序之后可以为接下去的全局排序提高不少的效率(其实就是做一次归并排序就可以做到全局排序了)。
3. distribute by和sort by一起使用
ditribute by是控制map的输出在reducer是如何划分的,举个例子,我们有一张表,mid是指这个store所属的商户,money是这个商户的盈利,name是这个store的名字
store:
mid | money | name |
AA | 15.0 | 商店1 |
AA | 20.0 | 商店2 |
BB | 22.0 | 商店3 |
CC | 44.0 | 商店4 |
执行hive语句:
- select mid, money, name from store distribute by mid sort by mid asc, money asc
我们所有的mid相同的数据会被送到同一个reducer去处理,这就是因为指定了distribute by mid,这样的话就可以统计出每个商户中各个商店盈利的排序了(这个肯定是全局有序的,因为相同的商户会放到同一个reducer去处理)。这里需要注意的是distribute by必须要写在sort by之前。
4. cluster by
cluster by的功能就是distribute by和sort by相结合,如下2个语句是等价的:
- select mid, money, name from store cluster by mid
- select mid, money, name from store distribute by mid sort by mid
如果需要获得与3中语句一样的效果:
- select mid, money, name from store cluster by mid sort by money
注意被cluster by指定的列只能是降序,不能指定asc和desc。
转自:http://blog.csdn.net/jthink_/article/details/38903775
以上是关于hive中order by,sort by, distribute by, cluster by作用以及用法的主要内容,如果未能解决你的问题,请参考以下文章
hive中order by,sort by, distribute by, cluster by的用法
Hive中order by,sort by,distribute by,cluster by的区别
hive中order by,sort by, distribute by, cluster by作用以及用法
Hive之cluster by , distribute by,order by,sort by