海量数据的处理
Posted ~千里之行，始于足下~
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了海量数据的处理相关的知识，希望对你有一定的参考价值。
海量数据相关题目
方案一
依次读取第一个文件的所有元素插入到位图a中,在把第二个文件的数据依次读入,判断是否在位图 a 中,若存在,就是交集。
方案二
读取第一个文件的所有元素插入到位图a中，读取第二个文件的所有元素到位图b中，然后两个位图相与，对应位置为1的就是两个文件的交集。
位图中通常是判断一个数是否在这个位图中,对应位为1,存在;对应位为0,不存在
如果要统计每个数出现的次数,则应该改变每一个数在位图中存储的位数或者使用多个位图
100亿个int相当于40个G,无法存储到内存中去,我们使用两个相同的位图a,b去计数。将文件中的数依次读取，如果a,b对应位置为00,则将对应位变为01；如果a，b对应位为01，则变为10；如果a，b对应位为10，则变为11
进行哈希切割后，A0,B0小文件的交集，A1,B1交集…即为两个大文件数据的交集
以上是关于海量数据的处理的主要内容，如果未能解决你的问题，请参考以下文章