Kafka 用户日志上报实时统计之 应用概述

Posted pony1223

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Kafka 用户日志上报实时统计之 应用概述相关的知识,希望对你有一定的参考价值。

一、kafka 回顾

1.简介 Kafka 的业务

业务场景:

  •   解除耦合
  •   增加冗余
  •   提高可扩展性
  •   Buffering
  •   异步通信

2.介绍 Kafka 的应用场景

  • Push Message
  • Website Tracking
  • 日志收集中心

3.实时统计平台搭建注意事项

实时统计平台搭建注意事项:

  • HA特性
  • 核心文件配置
  • 启动步骤
  • 集群演示

技术分享图片

二、项目简要

  • 简述项目整体流程

整体流程预览如下图所示:

技术分享图片

  • 数据生产介绍

数据源生产介绍,如下图所示:

技术分享图片

 

  • 数据消费介绍

数据源消费介绍,如下图所示:

技术分享图片

三、Kafka 工程准备

1.基础环境准备详述

  • 概述
  • 基础软件介绍
  • 使用技巧
  • 预览、演示

2.Kafka 工程创建关键步骤

  • 基础环境
  • 工程结构选取
  • 预览、演示

以上是关于Kafka 用户日志上报实时统计之 应用概述的主要内容,如果未能解决你的问题,请参考以下文章

七Kafka 用户日志上报实时统计之编码实践

nginx+lua访问流量实时上报kafka

大数据-12-Spark+Kafka构建实时分析Dashboard

基于storm,kafka,mysql的实时统计系统

业务实时监控服务概述

Storm综合应用