1数据采集和同步

Posted lybpy

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了1数据采集和同步相关的知识,希望对你有一定的参考价值。

目录:

1、行为数据埋点设计

  1.1、用户标识体系建立

  1.2、多屏用户标识打通

  1.3、埋点方案设计

2、数据采集方案设计

 

通常数据分为两类:

  业务数据:核心业务相关,如业务流转中产生的交易,状态流转,用户等,保存在数据库中

  用户行为数据:不影响业务,如页面浏览,点击,停留等,对运营、产品优化至关重要,是数据建设的一部分,需要单独设计埋点和采集策略

 

1.1、用户标识体系建立

  一款产品具有多屏性:PC端、H5、APP、Web,用户在注册前和注册后,和产品的交互数据要关联一起,如何标识到用户?

  PC端、H5、Web:用户注册前或登录前,在用户设备中留存cid(类似cookie)作为设备标识,跟踪用户行为数据;用户注册,登录后,使用uid标识用户。

  APP:注册前或登录前,使用设备的imei(手机序列号)或idfa(唯一标识,同一设备下,不用APP信息共享)根据某种规则生成唯一设备标识;注册后或登陆后,使用uid标识用户

  一般用cookie来标识用户。

  注册独立用户账号、第三方授权验证

  1、用户注册前后数据怎么互通?

  2、用户注册,但登录前后数据怎么互通?

  3、多屏下用户行为数据怎么互通?

    多屏打通关键是:uid

技术分享图片

  

1.3、埋点设计

  基于事件模型

  根据位置:服务端埋点(推荐,不影响客户体验,但是对无后端请求的用户行为无法获取)和客户端埋点

  尽可能和业务数据打通

以上是关于1数据采集和同步的主要内容,如果未能解决你的问题,请参考以下文章

Navicat 数据传输和数据同步的区别

数据库同步

DM+大数据全量和增量同步解决方案,百万数据同步只需1秒

如何在mysql和sqlite之间同步数据?

MySQL数据同步ES的常用思路和方法

线程如何实现同步和通讯