Hadoop之Hive的排序

Posted 2021-05-18 柳小葱

🌸大家好，上章我们讲到了hive的7中Join方式，本章将来讲解Hive中的排序，以往的部分可以查看下方链接👇

• 第一篇: Hadoop之Hive数据的导入与导出（DML）.
• 第二篇: Hadoop之Hive查询语句.
• 第三篇:Hadoop之Hive的7种Join语句.

🐱 今天我们来学习Order By、Sort by、distribute by、Cluster by

1.全局排序

• Order By：全局排序，只有一个 Reducer
• ASC（ascend）: 升序（默认）
• DESC（descend）: 降序

例:

--查询员工信息按照工资升序排列 
select ename,sal from emp order by sal;
--查询员工信息按照工资降序排列
select ename,sal from emp order by sal desc;

2.按照别名排序

按照员工薪水的2倍排序

select ename, sal*2 twosal from emp order by twosal;

3.多个排序

按照部门和工资升序排序

select ename, deptno, sal from emp order by deptno, sal;

4.每个reduce 内部排序（sort by）

• Sort By：对于大规模的数据集 order by 的效率非常低。在很多情况下，并不需要全局排序，此时可以使用 sort by。
• Sort by 为每个 reducer 产生一个排序文件。每个 Reducer 内部进行排序，对全局结果集来说不是排序。

首先设置reduce个数

set mapreduce.job.reduces=3;

查看设置 reduce 个数

set mapreduce.job.reduces;

根据部门编号降序查看员工信息

select ename,deptno from emp sort by deptno desc;

说好的分区，我也没看到，还是保存表来看看吧。

将查询结果导入到文件中（按照部门编号降序排序）

insert overwrite local directory '/opt/modul/datatest/sortby-result'
select ename,deptno from emp sort by deptno desc;

放到文件中：

每个人文件里都包含着一个区，但分区的方式是随机的

这里大家可能不太了解分区表，我将在下一章节进行介绍。

5. 分区内部排序（distribute by）

Distribute by:在有些情况下，我们需要控制某个特定行应该到哪个 reduce，通常是为了进行后续的聚集操作。distribute by 子句可以做这件事。distribute by 类似 MR 中 partition（自定义分区），进行分区，结合 sort by 使用。

• distribute by 的分区规则是根据分区字段的 hash 码与 reduce 的个数进行模除后，余数相同的分到一个区。
• Hive 要求 DISTRIBUTE BY 语句要写在 SORT BY 语句之前。

例：
先按照部门编号分区，再按照员工编号降序排序

--设置分区个数为4
set mapreduce.job.reduces=4;
--根据条件进行分区
insert overwrite local directory '/opt/modul/datatest/distribute-result' 
select deptno,empno from emp distribute by 
deptno sort by empno desc;

结果会分为4个分区

我们看一下每个分区的内容：

6.分区（ Cluster By）

• 当 distribute by 和 sorts by 字段相同时，可以使用 cluster by 方式。
• cluster by 除了具有 distribute by 的功能外还兼具 sort by 的功能。但是排序只能是升序
  排序，不能指定排序规则为 ASC 或者 DESC。

--下列两种方法等价
select * from emp distribute by deptno sort by deptno;
--等价
select * from emp cluster by deptno;

参考资料

《大数据Hadoop3.X分布式处理实战》