数据仓库之数据生成模块

Posted 一个数据人的自留地

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了数据仓库之数据生成模块相关的知识,希望对你有一定的参考价值。


关注免费获取资料

1、可免费领取数据相关的面试题+面试攻略。

2、可免费领取<中台>相关的资料;

3、进交流群,认识更多的数据小伙伴。


埋点的基本数据格式


1. 公共字段:基本所有安卓手机都包含的字段

2. 业务字段:埋点上报的字段,有具体的业务类型

下面就是一个示例,表示业务字段的上传:(json形式)

{"ap":"xxxxx",//项目数据来源 app pc"cm": { //公共字段 "mid": "", // (String) 设备唯一标识 "uid": "", // (String) 用户标识 "vc": "1", // (String) versionCode,程序版本号 "vn": "1.0", // (String) versionName,程序版本名 "l": "zh", // (String) 系统语言 "sr": "", // (String) 渠道号,应用从哪个渠道来的。 "os": "7.1.1", // (String) android系统版本 "ar": "CN", // (String) 区域 "md": "BBB100-1", // (String) 手机型号 "ba": "blackberry", // (String) 手机品牌 "sv": "V2.2.1", // (String) sdkVersion "g": "", // (String) gmail "hw": "1620x1080", // (String) heightXwidth,屏幕宽高 "t": "1506047606608", // (String) 客户端日志产生时的时间 "nw": "WIFI", // (String) 网络模式 "ln": 0, // (double) lng经度 "la": 0 // (double) lat 纬度 },"et": [ //事件 { "ett": "1506047605364", //客户端事件产生时间 "en": "display", //事件名称 "kv": { //事件结果,以key-value形式自行定义 "goodsid": "236", "action": "1", "extend1": "1","place": "2","category": "75" } } ]}

示例日志(服务器时间戳 | 日志):

1540934156385|{ "ap": "gmall",  "cm": { "uid": "1234",  "vc": "2",  "vn": "1.0",  "la": "EN",  "sr": "",  "os": "7.1.1",  "ar": "CN",  "md": "BBB100-1",  "ba": "blackberry",  "sv": "V2.2.1",  "g": "abc@gmail.com",  "hw": "1620x1080",  "t": "1506047606608",  "nw": "WIFI",  "ln": 0 },  "et": [ { "ett": "1506047605364", //客户端事件产生时间 "en": "display", //事件名称 "kv": { //事件结果,以key-value形式自行定义 "goodsid": "236", "action": "1", "extend1": "1","place": "2","category": "75" } },{ "ett": "1552352626835", "en": "active_background", "kv": { "active_source": "1" } } ] }}



事件日志数据


1. 商品列表页(loading)


2. 商品点击(display)

数据仓库之数据生成模块


3. 商品详情页(newsdetail)

数据仓库之数据生成模块


4. 广告(ad)

数据仓库之数据生成模块


5. 消息通知(notification)

数据仓库之数据生成模块


6. 评论(comment)

数据仓库之数据生成模块

7. 错误日志


启动日志数据


启动日志数据

针对不同的业务可能日志数据创建会有很多种细化分类目,需要在熟知业务的基础上进行设计,更好的适应日常数据分析需求;


下一节:数据仓库之数据生成脚本

以上是关于数据仓库之数据生成模块的主要内容,如果未能解决你的问题,请参考以下文章

电商数仓笔记1(数据仓库概念,项目需求及架构设计,数据生成模块)

SAP PP模块连载之物料主数据--02 MRP参数设置

大数据攻城狮之进阶技能-使用Git上传自己的项目至GitHub仓库

20190605 整体模块开发总结之审核

Docker--构建镜像私有仓库registry数据卷端口映射

如何将字符串数据从活动发送到片段?