Kafka 用户日志上报实时统计之分析与设计

Posted 2021-01-12 pony1223

一、项目整体概述

• 简述项目的背景

背景：
用户行迹
企业运营

• 分析项目的目的

通过对项目的分析，可以初步得到以下目的：

•实时掌握用户动态

•根据实时统计结果，适度推广

•统计分析效果，快速合理的调整

二、Producer 模块分析

• 分析生产数据来源

在用户上报日志中，每条日志记录代表用户的一次活动状态，示例数据如下：

 

121.40.174.237 yx12345 [21/July/2015 13:25:45 +0000] chrome

 

appid_5 "http://www.***.cn/sort/channel/2085.html"

 

示例数据所包含的信息量，如下图所示：

 

 

• Flume 到 Kafka 流程分析

数据源生产流程分析，如下图所示：

 

三、Consumer 模块分析

• 消费数据来源分析

消费数据源统计的KPI指标，如下图所示：

 

 

• Kafka 到 Storm 流程分析

数据源消费流程分析，如下图所示：

 

 

四、项目整体设计

1.项目详细设计流程

项目详细设计流程，如下图所示：

2.KPI 指标设计

KPI 指标设计，如下图所示：

 

本节我们项目进行了整体分析，并指导大家去分析 Kakfa 的 Producer 模块和 Consumer 模块，以及帮助大家去设计项目的开发流程等知识，应该掌握以下知识：

•项目的背景和目的

•分析 Producer 模块和 Consumer 模块

•项目的整体开发流程

•KPI 指标的设计