1.有一个1G大小的一个文件,里面每一行是一个词,词的大小不超过16字节,内存限制大小是1M。返回频数最高的100个词
1G有2^26个单词,1M可以存2^16个词。
step1:利用hash散列方法,hash(x)/5000将文件单词存到5000个不同的空间。(平均下来,每个空间大概有200k大小,有的可能超过1M,则对于该集合继续划分,知道都小于1M)
step2:将每个集合放入内存进行hashmap处理,key设为单词,value为频率。
step3:对于每个集合,通过最小堆排序的算法求其平率最高的100个。然后将这5000个进行归并排序。(5000*100=500000<2^16)