超多分析结果表 简单字段关联 生成大宽表 的 并发拓展

Posted 2021-02-09 qq1144054302

年前有些放纵了，一直没有完成该篇的节奏感。推延至今

 

大数据量面前单机显然是不合适的，所以尝试将前述逻辑 并发化 考虑 以适应 分布式处理。

 

回溯数据清洗流程，

1.流量数据区间圈定，

2.流量数据按要求筛选聚合

3.各汇总表按唯一标志联合

 

在初步猜想中，需要一张包含所有唯一标志的主表，这也是减少匹配次数的关键。

主表的产生不应该到流程第三步，也完全没有必要。

 

清洗流程第二步流量数据聚合的同时，完全可以完成 该主表的去重和排序。

接下来按照 记录总数均匀分发主表数据到个 executor，并记录下个executor的首尾，

 

于是在清洗流程第三步中，将个聚合表按标志分发到相应executor，并按初步猜想中的逻辑完成表的组合。

 

后续会考虑，尝试实现和验证实际效果。