海量数据处理：Hash映射 + Hash_map统计 + 堆/快速/归并排序

Posted 2020-09-18

海量日志数据，提取出某日访问百度次数最多的那个IP。

 既然是海量数据处理，那么可想而知，给我们的数据那就一定是海量的。

针对这个数据的海量，我们如何着手呢?对的，无非就是分而治之/hash映射 + hash统计 + 堆/快速/归并排序，说白了，就是先映射，而后统计，最后排序：

1. 分而治之/hash映射：针对数据太大，内存受限，只能是：把大文件化成(取模映射)小文件，即16字方针：大而化小，各个击破，缩小规模，逐个解决
2. hash_map统计：当大文件转化了小文件，那么我们便可以采用常规的hash_map(ip，value)来进行频率统计。
3. 堆/快速排序：统计完了之后，便进行排序(可采取堆排序)，得到次数最多的IP。