大数据入门第十八天——kafka整合flumestorm

Posted ---江北

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据入门第十八天——kafka整合flumestorm相关的知识,希望对你有一定的参考价值。

一、实时业务指标分析

  1.业务

  业务:
    订单系统---->MQ---->Kakfa--->Storm
    数据:订单编号、订单时间、支付编号、支付时间、商品编号、商家名称、商品价格、优惠价格、支付金额

    统计双十一当前的订单金额,订单数量,订单人数
    订单金额(整个网站,各个业务线,各个品类,各个店铺,各个品牌,每个商品)

  2.整合flume思路

   flume官网也是对应的kafka的sink配置与讲解http://flume.apache.org/FlumeUserGuide.html#kafka-sink

    (网上的一些例如brokelist等配置已经被标记为deprecated,请参照官网的最新属性配置)

 将采集的日志文件保存到kafka中
  (source) 输入:tail -F xxxx.log
  (channel)存储:内存
  (sink) 输出:kafka

config
  al.source = s1
  a1.channel = c1
  al.sink = k1

  source ==> exec tail -F xxxx.log
  channel ==> RAM
  sink ====> xxx.xxxx.xxxx.KafkaSink //该类必须存放lib目录
  sink.topic = orderMq
  sink.itcast = itcast

 

以上是关于大数据入门第十八天——kafka整合flumestorm的主要内容,如果未能解决你的问题,请参考以下文章

Python入门第三十八天Python丨NumPy 简介

Python入门第四十八天Python丨NumPy 数组连接

大数据入门第八天——MapReduce详解

大数据入门第二十四天——SparkStreaming与flumekafka整合

大数据入门第十七天——storm上游数据源 之kafka详解入门

大数据入门第十七天——storm上游数据源 之kafka详解常用命令