数据仓库之数据生成模块

Posted 2021-04-24 一个数据人的自留地

关注免费获取资料

1、可免费领取数据相关的面试题+面试攻略。

2、可免费领取<中台>相关的资料；

3、进交流群，认识更多的数据小伙伴。

埋点的基本数据格式

1. 公共字段：基本所有安卓手机都包含的字段

2. 业务字段：埋点上报的字段，有具体的业务类型

下面就是一个示例，表示业务字段的上传：（json形式）

{"ap":"xxxxx",//项目数据来源 app pc"cm": { //公共字段 "mid": "", // (String) 设备唯一标识 "uid": "", // (String) 用户标识 "vc": "1", // (String) versionCode，程序版本号 "vn": "1.0", // (String) versionName，程序版本名 "l": "zh", // (String) 系统语言 "sr": "", // (String) 渠道号，应用从哪个渠道来的。 "os": "7.1.1", // (String) android系统版本 "ar": "CN", // (String) 区域 "md": "BBB100-1", // (String) 手机型号 "ba": "blackberry", // (String) 手机品牌 "sv": "V2.2.1", // (String) sdkVersion "g": "", // (String) gmail "hw": "1620x1080", // (String) heightXwidth，屏幕宽高 "t": "1506047606608", // (String) 客户端日志产生时的时间 "nw": "WIFI", // (String) 网络模式 "ln": 0, // (double) lng经度 "la": 0 // (double) lat 纬度 },"et": [ //事件 { "ett": "1506047605364", //客户端事件产生时间 "en": "display", //事件名称 "kv": { //事件结果，以key-value形式自行定义 "goodsid": "236", "action": "1", "extend1": "1","place": "2","category": "75" } } ]}

示例日志（服务器时间戳 | 日志）：

1540934156385|{ "ap": "gmall",  "cm": { "uid": "1234",  "vc": "2",  "vn": "1.0",  "la": "EN",  "sr": "",  "os": "7.1.1",  "ar": "CN",  "md": "BBB100-1",  "ba": "blackberry",  "sv": "V2.2.1",  "g": "[e-mail]",  "hw": "1620x1080",  "t": "1506047606608",  "nw": "WIFI",  "ln": 0 },  "et": [ { "ett": "1506047605364", //客户端事件产生时间 "en": "display", //事件名称 "kv": { //事件结果，以key-value形式自行定义 "goodsid": "236", "action": "1", "extend1": "1","place": "2","category": "75" } },{ "ett": "1552352626835", "en": "active_background", "kv": { "active_source": "1" } } ] }}

事件日志数据

1. 商品列表页(loading)

2. 商品点击(display)

3. 商品详情页(newsdetail)

4. 广告(ad)

5. 消息通知(notification)

6. 评论（comment）

7. 错误日志

启动日志数据

启动日志数据

针对不同的业务可能日志数据创建会有很多种细化分类目，需要在熟知业务的基础上进行设计，更好的适应日常数据分析需求；

下一节：数据仓库之数据生成脚本