hive中order by，distribute by，sort by和cluster by的区别和联系

Posted 2023-04-24

参考技术A 1、order
by
order
by
会对数据进行全局排序,和oracle和mysql等数据库中的order
by
效果一样，它只在一个reduce中进行所以数据量特别大的时候效率非常低。而且当设置
：set
hive.
mapred.
mode
=strict的时候不指定limit，执行select会报错，如下：LIMIT
must
also
be
specified.
2、sort
by
sort
by
是单独在各自的reduce中进行排序，所以并不能保证全局有序，一般和distribute
by
一起执行，而且distribute
by
要写在sort
by前面。
如果mapred.reduce.tasks=1和order
by效果一样，如果大于1会分成几个文件输出每个文件会按照指定的字段排序，而不保证全局有序。
sort
by
不受
hive.mapred.mode
是否为strict
,nostrict
的影响
3、distribute
by
用distribute
by
会对指定的字段按照hashCode值对reduce的个数取模，然后将任务分配到对应的reduce中去执行，就是在mapreduce程序中的patition分区过程，默认根据指定key.hashCode()&Integer.MAX_VALUE%numReduce
确定处理该任务的reduce。
4、cluster
By
distribute
by
和
sort
by
合用就相当于cluster
by，但是cluster
by
不能指定排序为asc或
desc
的规则，只能是desc倒序排列。

hive order by sort by distribute by和sort by一起使用 cluster by

1. order by

    Hive中的order by跟传统的sql语言中的order by作用是一样的，会对查询的结果做一次全局排序，所以说，只有hive的sql中制定了order by所有的数据都会到同一个reducer进行处理（不管有多少map，也不管文件有多少的block只会启动一个reducer）。但是对于大量数据这将会消耗很长的时间去执行。

    这里跟传统的sql还有一点区别：如果指定了hive.mapred.mode=strict（默认值是nonstrict）,这时就必须指定limit来限制输出条数，原因是：所有的数据都会在同一个reducer端进行，数据量大的情况下可能不能出结果，那么在这样的严格模式下，必须指定输出的条数

2. sort by

在每个reducer端都会做排序,保证了局部有序（每个reducer出来的数据是有序的，但是不能保证所有的数据是有序的，除非只有一个reducer）

好处是：执行了局部排序之后可以为接下去的全局排序提高不少的效率（其实就是做一次归并排序就可以做到全局排序了）。

 3.distribute by和sort by一起使用

ditribute by是控制map的输出在reducer是如何划分的。

select mid, money, name from store distribute by mid sort by mid asc, money asc  
我们所有的mid相同的数据会被送到同一个reducer去处理，这就是因为指定了distribute by mid，这样的话就可以统计出每个商户中各个商店盈利的排序了（这个肯定是全局有序的，因为相同的商户会放到同一个reducer去处理）。这里需要注意的是distribute by必须要写在sort by之前。

4. cluster by

cluster by的功能就是distribute by和sort by相结合，如下2个语句是等价的：

1. select mid, money, name from store cluster by mid  
2. select mid, money, name from store distribute by mid sort by mid                                    
3. 如果需要获得与3中语句一样的效果 
   1. select mid, money, name from store cluster by mid sort by money  注意被cluster by指定的列只能是降序，不能指定asc和desc。

   2. CLUSTERED BY子句指定要用于存储的列以及要创建的存储桶数