海量数据分析处理方法

Posted 2023-05-02

海量数据分析处理方法一、Bloom filter适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集基本原理及要点：对于原理来说很

参考技术A 海量数据分析处理方法
一、Bloom filter
适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集
基本原理及要点：
对于原理来说很简单，位数组+k个独立hash函数。将hash函数对应的值的位数组置1，查找时如果发现所有hash函数对应位都是1说明存在，很明显这个过程并不保证查找的结果是100%正确的。同时也不支持删除一个已经插入的关键字，因为该关键字对应的位会牵动到其他的关键字。所以一个简单的改进就是 counting Bloom filter，用一个counter数组代替位数组，就可以支持删除了。
还有一个比较重要的问题，如何根据输入元素个数n，确定位数组m的大小及hash函数个数。当hash函数个数k=(ln2)*(m/n)时错误率最小。在错误率不大于E的情况下，m至少要等于n*lg(1/E)才能表示任意n个元素的集合。但m还应该更大些，因为还要保证bit数组里至少一半为0，则m应该>=nlg(1/E)*lge 大概就是nlg(1/E)1.44倍(lg表示以2为底的对数)。
举个例子我们假设错误率为0.01，则此时m应大概是n的13倍。这样k大概是8个。
注意这里m与n的单位不同，m是bit为单位，而n则是以元素个数为单位(准确的说是不同元素的个数)。通常单个元素的长度都是有很多bit的。所以使用bloom filter内存上通常都是节省的。
扩展：
Bloom filter将集合中的元素映射到位数组中，用k（k为哈希函数个数）个映射位是否全1表示元素在不在这个集合中。Counting bloom filter（CBF）将位数组中的每一位扩展为一个counter，从而支持了元素的删除操作。Spectral Bloom Filter（SBF）将其与集合元素的出现次数关联。SBF采用counter中的最小值来近似表示元素的出现频率。
问题实例：给你A,B两个文件，各存放50亿条URL，每条URL占用64字节，内存限制是4G，让你找出A,B文件共同的URL。如果是三个乃至n个文件呢？
根据这个问题我们来计算下内存的占用，4G=2^32大概是40亿*8大概是340亿，n=50亿，如果按出错率0.01算需要的大概是650亿个bit。现在可用的是340亿，相差并不多，这样可能会使出错率上升些。另外如果这些urlip是一一对应的，就可以转换成ip，则大大简单了。
二、Hashing
适用范围：快速查找，删除的基本数据结构，通常需要总数据量可以放入内存
基本原理及要点：
hash函数选择，针对字符串，整数，排列，具体相应的hash方法。
碰撞处理，一种是open hashing，也称为拉链法；另一种就是closed hashing，也称开地址法，opened addressing。
扩展：
d-left hashing中的d是多个的意思，我们先简化这个问题，看一看2-left hashing。2-left hashing指的是将一个哈希表分成长度相等的两半，分别叫做T1和T2，给T1和T2分别配备一个哈希函数，h1和h2。在存储一个新的key时，同时用两个哈希函数进行计算，得出两个地址h1[key]和h2[key]。这时需要检查T1中的h1[key]位置和T2中的h2[key]位置，哪一个位置已经存储的（有碰撞的）key比较多，然后将新key存储在负载少的位置。如果两边一样多，比如两个位置都为空或者都存储了一个key，就把新key存储在左边的T1子表中，2-left也由此而来。在查找一个key时，必须进行两次hash，同时查找两个位置。
问题实例：
1).海量日志数据，提取出某日访问百度次数最多的那个IP。
IP的数目还是有限的，最多2^32个，所以可以考虑使用hash将ip直接存入内存，然后进行统计。
三、bit-map
适用范围：可进行数据的快速查找，判重，删除，一般来说数据范围是int的10倍以下
基本原理及要点：使用bit数组来表示某些元素是否存在，比如8位电话号码
扩展：bloom filter可以看做是对bit-map的扩展
问题实例：
1)已知某个文件内包含一些电话号码，每个号码为8位数字，统计不同号码的个数。
8位最多99 999 999，大概需要99m个bit，大概10几m字节的内存即可。
2)2.5亿个整数中找出不重复的整数的个数，内存空间不足以容纳这2.5亿个整数。
将bit-map扩展一下，用2bit表示一个数即可，0表示未出现，1表示出现一次，2表示出现2次及以上。或者我们不用2bit来进行表示，我们用两个bit-map即可模拟实现这个2bit-map。
四、堆
适用范围：海量数据前n大，并且n比较小，堆可以放入内存
基本原理及要点：最大堆求前n小，最小堆求前n大。方法，比如求前n小，我们比较当前元素与最大堆里的最大元素，如果它小于最大元素，则应该替换那个最大元素。这样最后得到的n个元素就是最小的n个。适合大数据量，求前n小，n的大小比较小的情况，这样可以扫描一遍即可得到所有的前n元素，效率很高。
扩展：双堆，一个最大堆与一个最小堆结合，可以用来维护中位数。
问题实例：
1)100w个数中找最大的前100个数。
用一个100个元素大小的最小堆即可。
五、双层桶划分-—其实本质上就是【分而治之】的思想，重在分的技巧上！
适用范围：第k大，中位数，不重复或重复的数字
基本原理及要点：因为元素范围很大，不能利用直接寻址表，所以通过多次划分，逐步确定范围，然后最后在一个可以接受的范围内进行。可以通过多次缩小，双层只是一个例子。
扩展：
问题实例：
1).2.5亿个整数中找出不重复的整数的个数，内存空间不足以容纳这2.5亿个整数。
有点像鸽巢原理，整数个数为2^32,也就是，我们可以将这2^32个数，划分为2^8个区域(比如用单个文件代表一个区域)，然后将数据分离到不同的区域，然后不同的区域在利用bitmap就可以直接解决了。也就是说只要有足够的磁盘空间，就可以很方便的解决。
2).5亿个int找它们的中位数。
这个例子比上面那个更明显。首先我们将int划分为2^16个区域，然后读取数据统计落到各个区域里的数的个数，之后我们根据统计结果就可以判断中位数落到那个区域，同时知道这个区域中的第几大数刚好是中位数。然后第二次扫描我们只统计落在这个区域中的那些数就可以了。
实际上，如果不是int是int64，我们可以经过3次这样的划分即可降低到可以接受的程度。即可以先将int64分成2^24个区域，然后确定区域的第几大数，在将该区域分成2^20个子区域，然后确定是子区域的第几大数，然后子区域里的数的个数只有2^20，就可以直接利用direct addr table进行统计了。
六、数据库索引
适用范围：大数据量的增删改查
基本原理及要点：利用数据的设计实现方法，对海量数据的增删改查进行处理。
七、倒排索引(Inverted index)
适用范围：搜索引擎，关键字查询
基本原理及要点：为何叫倒排索引？一种索引方法，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。
以英文为例，下面是要被索引的文本： T0 = “it is what it is” T1 = “what is it” T2 = “it is a banana”
我们就能得到下面的反向文件索引：
“a”: 2 “banana”: 2 “is”: 0, 1, 2 “it”: 0, 1, 2 “what”: 0, 1
检索的条件”what”,”is”和”it”将对应集合的交集。
正向索引开发出来用来存储每个文档的单词的列表。正向索引的查询往往满足每个文档有序频繁的全文查询和每个单词在校验文档中的验证这样的查询。在正向索引中，文档占据了中心的位置，每个文档指向了一个它所包含的索引项的序列。也就是说文档指向了它包含的那些单词，而反向索引则是单词指向了包含它的文档，很容易看到这个反向的关系。
扩展：
问题实例：文档检索系统，查询那些文件包含了某单词，比如常见的学术论文的关键字搜索。
八、外排序
适用范围：大数据的排序，去重
基本原理及要点：外排序的归并方法，置换选择败者树原理，最优归并树
扩展：
问题实例：
1).有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16个字节，内存限制大小是1M。返回频数最高的100个词。
这个数据具有很明显的特点，词的大小为16个字节，但是内存只有1m做hash有些不够，所以可以用来排序。内存可以当输入缓冲区使用。
九、trie树
适用范围：数据量大，重复多，但是数据种类小可以放入内存
基本原理及要点：实现方式，节点孩子的表示方式
扩展：压缩实现。
问题实例：
1).有10个文件，每个文件1G，每个文件的每一行都存放的是用户的query，每个文件的query都可能重复。要你按照query的频度排序。
2).1000万字符串，其中有些是相同的(重复),需要把重复的全部去掉，保留没有重复的字符串。请问怎么设计和实现？
3).寻找热门查询：查询串的重复度比较高，虽然总数是1千万，但如果除去重复后，不超过3百万个，每个不超过255字节。
十、分布式处理 mapreduce
适用范围：数据量大，但是数据种类小可以放入内存
基本原理及要点：将数据交给不同的机器去处理，数据划分，结果归约。
扩展：
问题实例：
1).The canonical example application of MapReduce is a process to count the appearances ofeach different word in a set of documents:
2).海量数据分布在100台电脑中，想个办法高效统计出这批数据的TOP10。
3).一共有N个机器，每个机器上有N个数。每个机器最多存O(N)个数并对它们操作。如何找到N^2个数的中数(median)？

海量数据处理方法整理记录

　　随着现在数据量的不断增加，很多大数量的问题随之而来，就得需要我们想办法解决，我找了一些问题并首先思考，然后找到方法，在这里记录一下，未来有需要的同学可以拿走去用。

　　1. 在海量日志数据里，提取某天访问量最多的IP。

　　一般处理海量的思路都是分治处理，就是现将数据进行拆分，然后进行处理，排序等。这个例子也不例外，IPV4的地址一共32位，最大值为2^32也就是总数大约4G左右，如果放到内存里边，以目前的内存容量也是可以处理的，但是咱们可以为自己设置一些条件，比如目前没有那么多内存。

　　　　a) 首先分治，将这个文件按照IP的HASH分成1024份（如果想要均匀的分的算法需要使用一致性Hash算法），这样每个文件大约4M左右并且存放到磁盘上去。

　　　　b) 构建一个需要以IP为Key，出现次数为Value的TreeMap。读取每个文件，将IP和出现次数放入有序的TreeMap。

　　　　c) 这样就可以得到出现次数最多的IP，前N个出现次数多的IP都可以获取到了。

　　这种问题一般是TOP K的问题，思路都可以按照这样的思路去解决。当然这种场景比较合适的就是Map Reduce莫属了。另外，关于TOP K的这种排序的话可以采用最小堆排序（即根节点是最小的），它的时间复杂度为n*mlogm，n即为一共多少数据，m为取出前m个数据。关于这种结构不知道的同学可以进行谷歌搜索。分治的作用就是为了减少使用系统的资源，比如系统内容。

　　2. 上个问题是统计重复出现的个数，那么如何统计不重复的个数。比如：有个电话本，里边记录的电话号码都是8位数字，统计电话本里边有多少电话号码？这个里边肯定也是有一些局限的，比如内存限制。再比如再2.5亿整数中找到不重复的整数的个数，当然，内存中不能够存储着2.5亿数据。这种解决的思路一般是位图算法（bitMap)解决。

　　　　以电话号码为例：

　　　　a)电话号码是8位数字，也就是出现的数字应该为11111111-99999999，总数为99999999，咱们采用位图法（因为最省内存）。

　　　　b)一个bit位代表一个数字，那么这些数字共需要99999999个bit，占用内存为 99999999/8/1024/1024约等于11.92M，即如果这个数字所在的位有数据，那么这个bit位就设置为1，否则设置为0。

　　　　这样只需要12M的内存就可以统计这些数据了。当然2.5亿整数同理，在内存中所有整数的个数为2^32，一个数对应一个bit，大概需要512M内存就可以了，如果给的内存还不够的话，则需要再次进行拆分。

　　3. 还有一些与上边类似的，但是不太相同的，因为有重复的数（1、2、2、3、3、4，排好序的数并且偶数个的话，中位数是[2+3]/2=2.5 奇数个的话正好是中间的），比如在5亿int数中找到中位数。这个问题的解决思路其实采用双层桶划分思路。注意一个int占4个Byte，整数的最大位数为32位，那么我们将每个数转换为二进制，然后截取前多少位，要看内存大小。解决思路：

　　　　a) 把整数转为二进制数，然后截取前5位，那么总共分出2^5=32个区间，如果分出文件来共分出32个文件，如果内存不够的话，那么再继续截取（比如16位，这里举例）。比如：file_00000, file_00001等。

　　　　b) 如果截取完了，所有文件一共32个文件，因为都是二进制，所以文件是按照有序排好的。统计每个文件的个数，然后计算中位数所在的文件里。

　　　　c) 如果文件还是比较大，假设文件在最后一个文件，即前边2.5亿，最后一个文件2.5亿，文件名字为file_11111，那么再继续按照上边的方法继续拆分（比如再5位 文件名：file_11111_00000 等)，知道内存中可以装下整个文件。

　　　　d) 可以装下整个文件下的话再进行排序，排好序之后，找到中间的数就是中位数。

　　4. 两个文件，各存放50亿条URL，每个URL占64字节。内存限制是4G，找出两个文件中相同的URL。这个问题有一个内存限制，那么肯定需要分治法。

　　　　方法一（分治+hash+hashset)：

　　　　a) 50亿个64Byte= 5G*64Byte = 320G，内存4个G，肯定是不可以的。那么咱们将每个URL进行hash，然后放到1024个文件中，也就是每个文件为320G/1024=320M左右。以hash值作为文件名，第一个文件hash出来的文件命名为(hash[URL]%1024)a1.....a1024，第二个文件hash出来的文件命名为b1.....b1024。

　　　　b）1024个文件生成了，那么相同的URL肯定在hash命名文件的后缀中，比如a1 vs b1，这样依次读取文件的内容放入到hashset中，如果存在的话记录并且追加放到文件中。

　　　　c)  最后文件中就是所有URL即为相同的URL。

　　　　方法二（Bloom Filter布隆过滤器)

　　　　a) 先说一下布隆过滤器，主要将需要内容进行hash，然后对应到相应的bit上，即Bit Map位图法，但是这个里边有一个问题就是hash会碰撞，即不同的结果可能会hash成相同的值，这样就会出错。如果可以接受错误率，当然错误率较低，那么可以采用这种方式。4G内存=2^32 * 8 约等于 40亿Byte * 8 大约等于340亿。先遍历第一个文件，然后再遍历第二个，这样会错误率。

　　5. 有40亿个不重复的unsigned int的整数，没排过序，现在给一个数，如何快速判断这个数是否在这40亿个数当中。这个如果直接放到内存里边的话得需要2^32*4Byte（int 4Byte) = 4G *4 = 16G. 显然内存比较大了。

　　　　a) 这个也采用位图法，所需要的内存为  2*32Byte / 8 = 500M 内存，所以仅仅需要500M内存就可以放下这些数字了，然后查找就可以了。

　　6. 给定一个文件，里面最多含有n个不重复的正整数（也就是说可能含有少于n个不重复正整数），且其中每个数都小于等于n，n=10^7。输出：得到按从小到大升序排列的包含所有输入的整数的列表。条件：最多有大约1MB的内存空间可用，但磁盘空间足够。且要求运行时间在5分钟以下，10秒为最佳结果。

　　如果采用位图法的话需要为10^7 / 8 /1024/1024 大约等于1.19M，大于题目的1M，显然位图法不太合适，那么咱们考虑一下多路归并排序。

　　a)  首先将这个文件分批次读取拆分，比如一次读取256K，然后进行memory sort 在内存排序，写到文件中。假如文件大小是10M的大小，则需要循环40次，写入40个文件当中。

　　b)  然后将文件进行merge sort合并排序，创建一个数组40个长度，依次读取最小的文件，然后找到数组中最小的写入到文件当中，然后继续读取文件并且继续排序，将最小的再次写入文件即可。

　 6. 有10个文件，每个文件1G，每个文件的每一行都存放的是用户的搜索的关键字，每个文件的搜索的关键字都可能重复。找出热度高的前1000个搜索关键字。（提示分治+hash+trie树+最小堆）

　　看到这种问题的话，首先得考虑是否机器资源足够使用，如果足够使用的话，就直接加入内存，但是如果不够的话需要考虑分治。解决思路。

　　a) 将每个文件按关键字进行hash，然后拆分成100个文件，然后每个文件大概100M左右。（分治+hash)。

　　b) 读取每个小文件，并且将读取的关键字形成Trie树字典树，这样会达到去重的效果。Trie树的插入和查询复杂度是O(k), k为最长字符串的长度。然后建立长度为1000的小根堆，将遍历每个关键字的出现的次数放到小根堆里。

　　c) 以上一遍就可以得出第一个1G文件的结果，然后按照相同的原理继续以上步骤。

 

总结一下：

　　如果是大量数据不重复的，而且需要内存占用比较少的需要找出出现的内容的话，适合使用BitMap位图法进行处理。

　　还有就是一般的TOP K问题，就是找出前多少位的这种，一般内存容量都不是很大，采用的方式是 分治+hash+最小（大）堆排序。当然分布式的适合处理方式为MapReduce处理。

　　排序可以有很多种，按照不同的方式进行不同的排序，比如快排，最小堆排序，归并排序。如果大文件需要排序，并且严格要求内存的话，分治成小文件，然后采用归并排序很合适。

　　如果涉及到单词的类型处理的话，需要使用Trie树进行，因为这个非常合适处理，并且复杂度为O(k）。

 

如果有不对的地方，欢迎指正。