text Hive topN，分组topN问题解决方案

Posted

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了text Hive topN，分组topN问题解决方案相关的知识，希望对你有一定的参考价值。

解决思路1: 通过order by col limit n实现全局排序

缺点是仅使用一个reducer, 数据量大的时候效率会非常低.

=============================

解决思路2: 通过sort by col limit n实现并行局部排序, 然后外层进行全局的order by col limit n全局排序

分析: 局部排序是并行的, 一个数据要想在最终的topN中出现, 首先必然能够在局部的topN中出现. 外层的order by col limit n虽然仍是全局的, 但数据量级已大大降低. 最终能够得到更高的效率和同样的结果.


============
对于分组topN, 直接使用分组排序函数解决即可.

以上是关于text Hive topN，分组topN问题解决方案的主要内容，如果未能解决你的问题，请参考以下文章