大数据排序问题

Posted 2021-02-16 Draymonder

问题

一个文件中有9亿条不重复的9位整数，对这个文件中数字进行排序

直接想法

9亿条（9e8）数据，每个数据能用int存储
因此所需要内存 9e8x4B = 3.6e9B = 3.6GB,这是装载所需要的 排序复杂度一般都是nlogn
因此需要的内存更大

方法一 数据库排序

将文本文件导入到数据库中，让数据库进行索引排序操作后提取数据到文件。

评价

操作简单， 运算速度较慢，对数据库设备要求较高

方法二 分治法

通过Hash法 将9亿条的数据分为20段，每段大约 5000万条，大概占用5e7x4 = 2e8B = 200MB内存
在文件中依次搜索 0-5000万，5000万+1 - 1亿 ....等等

评价

需要进行20次排序，缩小了每次使用的内存，但编码复杂，速度也慢

方法三 位图法

考虑9位数，所以从0 - 999999999 共10亿个数
然后我们用bit来表示 bit为0，代表不存在，bit为1 代表存在
因此我们需要 10e8 / 8 = 125M内存
然后用bitMap 扫一遍就可以了。
具体代码 稍后写