数据采集第一阶段工作汇报与反思

Posted 2022-03-07 彭宇成

一、场 景

本文旨在向金融前端团队介绍当前大数据团队的行为数据采集方案，以及该方案存在的问题：以期前端团队能提供更友好、更前沿的、可落地的行为数据采集方案，助力魔镜用户行为分析产品在金融系统的推广。

关键字解释

用户行为分析：基于用户在互联网产品（比方说，美的金融app）上的各种行为（页面刷新、按钮点击、收藏、转发、评论等）及行为背后的人发生的时间、频次等维度深度还原用户的使用场景，指导业务增长
金融魔镜：金融大数据团队正在重力打造的核心产品之一。聚焦用户行为分析，通过采集、处理与分析用户的行为数据，实现精细化运营，最终帮助客户增长有效用户。

二、介 绍

1、当前金融用户行为数据采集方案简介

详见：数据采集初探（http://blog.csdn.net/pengych_321/article/details/54427631）
具体 jssdk 代码详见附件

说 明
1）金融门户包括：美的金融门户app端（独立app端、美信入口端）、美的金融门户pc端、美的分期、美的通等
2）当前，美的金融门户app端的行为数据采集工作由移动系统负责（已采集部分数据），pc端的行为数据还未采集、美的分期的行为数据采集由大数据团队按照上述方案采集（已采集部分数据）。

2、遇到的问题 - 埋点采集固有的一些缺陷

1 ) 开发成本大
Midea分，每次应用程序升级-新增页面或者按钮、页面名称或者按钮名称发生变化等，都需要前端开发人员手动添加或者调整相关采集 js代码。

2） 维护成本大
需要前端团队开发人员参与

3、业界好的解决方案

埋点数据采集固有的一些缺陷，在一定程度上，阻碍了魔镜在金融系统及集团的推广。因此需要开发出一套更好的行为数据采集方案，这里收集与整理了当前业界最前沿的两种采集方式简介，供前端团队参考：

1）无埋点采集

GrowingIO无埋点

2）可视化埋点

腾讯可视化埋点

三、行为数据采集需求

1）采集美的金融PC端与美的分期端行为数据

数据格式 ：

2）最好能以无埋点或者可视化埋点的方式进行采集