基于大数据营销的全量数据采集预处理方法

Posted 2021-03-04

随着数字生活空间的普及，全球的信息总量正呈现爆炸式增长。基于这个趋势之上的，是大数据、云计算等新概念和新范式的广泛兴起，它们无疑正引领着新一轮的互联网风潮。

大数据营销是指通过互联网采集大量的行为数据，以及对大数据做技术分析与预测，帮助广告主找出目标受众，以此对广告投放的内容、时间、形式等进行预判与调配，并最终完成广告投放的营销过程。

和传统广告“一半的广告费被浪费掉”相比，大数据营销在最大程度上，让广告主的投放做到有的放矢，并可根据实时性的效果反馈，及时对投放策略进行调整。

由于流量过于庞大，全量采集由于花销巨大，而变得不可能完成。如何在海量数据提取与用户画像相关的行为数据，是大数据营销系统中关键的一环。

可以将前端采集到的不同速率的原始链路数据接入到网络分流器中，网络分流器提取数据中的HTTP GET请求报文和DNS请求，用于精准用户画像和竞价排名，过滤其它与用户行为无关流量，通过此方法对大数据做预处理，可极大的减轻后端数据分析服务器压力，降低整个系统成本。