SPARK大数据计算BUG处理：

Posted 2020-08-20

大数据计算BUG处理：

程序修改前资源情况：

Driver : 1台

Worker : 2台

程序提交申请内存资源 ： 1G内存

内存分配情况 ： 

1. 20%用于程序运行

2. 20%用于Shuffle

3. 60%用于RDD缓存

单条TweetBean大小 ： 3k

1. 内存溢出

原因：因为程序会把所有的TweetBean查询出来并且合并(union)，该操作在内存中进行。则某个campaign数据量较大时，如500W数据，则500W*10k=50G，超出内存限制。

解决方法： 先按数据量切分task，避免单个task有很多数据造成内存溢出。把所有的task切分完成放到task列表中。循环task列表，当取出的task的数据量大于200000时，合并所有的数据并拆分成16个RDD分片。循环取task列表直至结束。

批量取200000数据的原因：200000*3k=600M，两台机器可用于程序运行的内存=2（机器数）* 2G（程序申请的内存大小） * 0.2（用于程序运行的内存比例） = 800M，可以满足存储200000数据，避免内存溢出。

2. 运行缓慢

原因：因为两台机器，每台机器可用于shuffle的内存大小 = 2（机器数）* 1G（程序申请的内存大小）* 0.2（用于程序运行的内存比例）= 400M。

200000（批量处理的数据量）* 3k（单条TweetBean大小）= 600M，批量Shuffle的数据量大于机器可用内存，所以数据会Flush到硬盘，导致读取数据缓慢。

解决方法：调整程序Shuffle可用内存,如下：

程序申请内存资源：2G

内存分配情况 ： 

1. 20%用于程序运行

2. 60%用于Shuffle

3. 20%用于RDD缓存