lucene中facet实现统计分析的思路——本质上和word count计数无异

Posted 将者,智、信、仁、勇、严也。

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了lucene中facet实现统计分析的思路——本质上和word count计数无异相关的知识,希望对你有一定的参考价值。

http://stackoverflow.com/questions/185697/the-most-efficient-way-to-find-top-k-frequent-words-in-a-big-word-sequence

http://www.geeksforgeeks.org/find-the-k-most-frequent-words-from-a-file/

http://cs.stackexchange.com/questions/26427/word-frequency-with-ordering-in-on-complexity

思路大致如下:

(1)hash表统计单词出现次数,然后寻找top k出现的,其中top k可以使用n*log(k)的堆思路,或者快排思路,或者是桶排序思路(以前fbt里实现实时的积分排序);

(2)使用trie来统计单词出现次数,然后便利trie,利用堆排序思路求top k;

(3)使用桶排序,尤其是当你知道最大出现次数时候,类似以前做fbt实现的实时积分排序,然后从大到小取出top k;

(4)用map reduce。

以上是关于lucene中facet实现统计分析的思路——本质上和word count计数无异的主要内容,如果未能解决你的问题,请参考以下文章

TODO

Lucene 6.0 提取新闻热词Top-N

Facet是什么?

请问lucene可以用来做日志分析和日志故障定位吗?

Lucene——索引过程分析Index

活动预告‖基于Lucene实现万亿级多维检索与实时分析的实践之路