数据采集和埋点

Posted 2022-12-07 苛学加

数据采集和埋点

1. 什么是数据采集

• 为了满足统计、分析、挖掘的需求，搜集和获取各种数据的过程。
• 是数据驱动、精细化运营的基本。

2. 应用场景

• 用户画像
• 精准广告
• 个性推荐
• 在线分析
• 搜索优化
• 反作弊

3. 数据采集目标

• 按照数据类型：

  • 用户行为数据，如用户启动了应用，并做了滑动点击等操作
  • 用户数据，如用户的基础信息
  • 业务数据，如搜索下单支付等
  • 内容数据，如文本相关的数据

• 按照所有者：

  • 第一方数据，我们自己的数据
  • 第三方数据，集成的第三方数据

4. 大体流程

1. 数据采集
2. 数据参数(实时/批量)
3. 数据建模/储存
4. 数据统计/分析/挖掘
5. 数据可视化/反馈

5. 埋点流程

1. 提出需求
2. 确认方案
3. 埋点开发
4. 验证数据
5. 获取结论

6. 事件模型

Event + User 模型

• 事件Event（日志）

  • Who：参与此事件的用户
  • When：时间发生的实际时间
  • Where：事件发生的地点
  • How：用户进行事件的方式
  • What：描述用户所在的事件的具体内容

• 用户User

  • 记录和收集用户的长期属性
  • 通过ID与相关的Event关联

7. 数据采集原则

1. 大：充分考虑用户规模与数据规模的增长，做好数据资产的积累。
2. 全：多端采集，针对全量用户行为而非抽样，贯穿用户使用产品的整个生命周期。
3. 细：尽可能采集足够全面的属性和维度，尽量保存数据细节，让积累的数据资产更加优质。
4. 时：在技术条件于成本允许的情况下，尽可能的提高数据采集的时效性，从而提高后续数据应用的时效性。

8. 常见埋点方式

前端代码埋点

在某个事件发生后调用接口。

优点：

• 精准控制埋点
• 方便、灵活自定义事件、自定义属性
• 采集数据丰富
• 可以满足更精细化的分析需求

缺点:

• 埋点代价比较大
• 需要伴随着App发版

接口端埋点

在某些接口中集成埋点功能，类似记录操作日志。
优点：

• 一处开发全栈覆盖

缺点：

• 点击事件等无法采集

第三方SDK

前端人员无需编写或只编写少量代码，就能预先自动收集用户的所有用户行为。

这一般由一些专门SDK或框架提供，例如：启动、退出、页面浏览等。

优点：

• 埋点代价较小
• 无需更新App
• 解决了数据“回溯”的问题
• 其他更高级功能强依赖

缺点：

• 覆盖的功能有限
• 无法自动采集业务相关的数据
• 无法满足更精细化的分析需求
• 兼容性问题
• 传输的数据量太大、浪费资源