text Hive topN,分组topN问题解决方案

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了text Hive topN,分组topN问题解决方案相关的知识,希望对你有一定的参考价值。

解决思路1: 通过order by col limit n实现全局排序

缺点是仅使用一个reducer, 数据量大的时候效率会非常低.

=============================

解决思路2: 通过sort by col limit n实现并行局部排序, 然后外层进行全局的order by col limit n全局排序

分析: 局部排序是并行的, 一个数据要想在最终的topN中出现, 首先必然能够在局部的topN中出现. 外层的order by col limit n虽然仍是全局的, 但数据量级已大大降低. 最终能够得到更高的效率和同样的结果.


============
对于分组topN, 直接使用分组排序函数解决即可.

以上是关于text Hive topN,分组topN问题解决方案的主要内容,如果未能解决你的问题,请参考以下文章

Hive分组取TOPN数据

使用dataframe解决spark TopN问题:分组排序取TopN

大数据Hive3.x数仓开发窗口函数案例:连续N次登录的用户;级联累加求和;分组TopN

hive分组取随机数

hive sql 经典题目 连续登陆|间隔连续登陆|行列转换|累加|topN | 炸裂

Hive ROW_NUMBER TopN 性能优化