Hive中的窗口函数

Posted 2021-04-20

我正在Hive中探索窗口函数，我能够理解所有UDF的功能。虽然，我无法理解我们与其他功能一起使用的分区和顺序。以下是与我计划构建的查询非常相似的结构。

SELECT a, RANK() OVER(partition by b order by c) as d from xyz; 

只是想了解两个关键字所涉及的后台流程。

感谢帮助:)

答案

RANK()解析函数为数据集中每个分区中的每一行分配一个排名。

PARTITION BY子句确定如何分配行（如果它是hive则在reducers之间）。

ORDER BY确定如何在分区中对行进行排序。

第一阶段是分布式的，数据集中的所有行都分布在分区中。在map-reduce中，每个映射器根据partition by对行进行分组，并为每个分区生成文件。 Mapper对分区部分进行初始排序。

第二阶段，所有行都在每个分区内排序。在map-reduce中，每个reducer获取由映射器生成的分区文件（分区的一部分），并根据order by对整个分区中的行进行排序（部分结果的排序）。

第三，rank函数为分区中的每一行分配排名。正在为每个分区初始化秩功能。

对于分区排名的第一行以1开头。对于每个下一行Rank=previous row rank+1。给定相同等级的具有相等值（按顺序指定）的行，如果两行共享相同等级，则下一行等级不连续。

可以在不同的reducer上并行处理不同的分区。可以在同一个reducer上处理小分区。 Rank函数在穿过分区边界时重新初始化，并以每个分区的rank = 1开始。

示例（行已经分区并在分区内排序）：

SELECT a, RANK() OVER(partition by b order by c) as d from xyz; 

a, b, c, d(rank)
----------------
1  1  1  1 --starts with 1
2  1  1  1 --the same c value, the same rank=1
3  1  2  3 --rank 2 is skipped because second row shares the same rank as first 

4  2  3  1 --New partition starts with 1
5  2  4  2
6  2  5  3

如果您需要连续排名，请使用dense_rank函数。 dense_rank将为上述数据集中的第三行生成rank = 2。

row_number函数将为分区中从1开始的每一行分配一个位置编号。具有相同值的行将接收不同的连续数字。

SELECT a, ROW_NUMBER() OVER(partition by b order by c) as d from xyz; 

a, b, c, d(row_number)
----------------
1  1  1  1 --starts with 1
2  1  1  2 --the same c value, row number=2
3  1  2  3 --row position=3

4  2  3  1 --New partition starts with 1
5  2  4  2
6  2  5  3

重要说明：对于具有相同值的行，row_number或其他此类分析函数可能具有非确定性行为，并在运行期间生成不同的数字。上述数据集中的第一行可能接收数字2，第二行可能接收数字1，反之亦然，因为除非您将另外一列a添加到order by子句中，否则不会确定它们的顺序。在这种情况下，所有行在运行期间始终具有相同的row_number，它们的顺序值不同。