大数据类算法问题

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据类算法问题相关的知识,希望对你有一定的参考价值。

1.有一个1G大小的一个文件,里面每一行是一个词,词的大小不超过16字节,内存限制大小是1M。返回频数最高的100个词

1G有2^26个单词,1M可以存2^16个词。

step1:利用hash散列方法,hash(x)/5000将文件单词存到5000个不同的空间。(平均下来,每个空间大概有200k大小,有的可能超过1M,则对于该集合继续划分,知道都小于1M)

step2:将每个集合放入内存进行hashmap处理,key设为单词,value为频率。

step3:对于每个集合,通过最小堆排序的算法求其平率最高的100个。然后将这5000个进行归并排序。(5000*100=500000<2^16)

以上是关于大数据类算法问题的主要内容,如果未能解决你的问题,请参考以下文章

在大数据量时,K-means算法和层次聚类算法谁更有优势

学术论文电力通信大数据并行化聚类算法研究

大数据:Spark mlib KMeans聚类算法源码分析

大数据之路第十四篇:数据挖掘--推荐算法(Mahout工具)

大数据聚类算法知多少?如何无需编程快速实践?算法干货

计算机如何感知大数据——聚类算法