大数据（0d）用户行为日志分析

Posted 2021-09-14 小基基o_O

超有型的目录

• 架构
• 埋点数据设计
• 技术
• 分析指标

架构

• 埋点：用于网站分析的数据采集方法
• nginx（engine x）：高性能的HTTP和反向代理web服务器

埋点数据设计

数据类别	记录内容	内容示例	示例指标
页面	页面路径	首页、搜索页、商品页	pv、uv、页面跳转
事件	操作类型 操作对象	输入、滑动、点击 搜索栏、商品列表、商品
曝光	曝光对象 曝光位置	商品、直播 页眉、页脚	商品曝光量、直播点击率
启动	启动方式	点击APP图标、外源跳入	启动方式统计
错误	错误信息
…

{
    "basic_information": {
        "mobile_id": "手机ID",
        "os": "操作系统",
        "version": "APP版本号",
        "uid": "账户ID",
        "first_use": "是否首次使用",
    },
    "actions": [
        {
            "action_id": "动作id",
            "item_id": "目标ID",
            "timestamp": 1585744376605,
        },
    ],
    "displays": [
        {
            "item_id": "曝光对象ID",
            "position": "曝光位置",
        },
    ],
    "page": {
        "page_id": "页面ID",
        "last_page_id": "上个页面ID",
    },
    "error": {
        "code": "错误码",
        "info": "错误信息"
    },
    "timestamp": 1585744376001
}

技术

• Flume=>Kafka=>Flume
• SparkStreaming消费Kafka
• Spark写HBase

分析指标

指标类别	示例
离线指标	DAU、MAU、WAU、每日/周/月 pv、页面跳转率…
实时指标	每小时/分钟的 pv/uv