Flume配置参数详解

Posted 2021-04-30 阿拉裴

flume 的netcat监听5555端口：

a1.sources = r1

a1.sinks = k1

a1.channels = c1

a1.sources.r1.type = netcat

a1.sourcse.r1.bind = 192.168.1.1

a1.sources.r1.port = 5555

a1.sinks.k1.type = hdfs

a1.sinks.k1.hdfs.path = hdfs/Initial_Data/    #落地到hdfs上

a1.sinks.k1.hdfs.fileType = DataStream   #文件类型

a1.sinks.k1.hdfs.filePrefix = %Y%m%d    #设置落地文件前缀

a1.sinks.k1.hdfs.rollSize = 1024               #落地大小为1024kb

a1.sinks.k1.hdfs.rollCount = 0                  #不以events事件数量落地

a1.sinks.k1.hdfs.minBlocka1.sources = r1Replicas = 1    #最小块，设置为1不会受到hadf复制块的影响

a1.sinks.k1.hdfs.rollIntervale = 60    #60秒落地一个文件

a1.channels.c1.type = memory     #选择管道类型

a1.channels.c1.capacity = 1000     #存储空间

a1.channels.c1.transAcpacity = 1000    #交易空间

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

运行agent

                           flume-ng agent -n a1 -f flumec.conf -Dflume.root.logger=INFO,console

- Flume优点

1. 可以和任何中央数据库集中式集成

2. 起到缓冲的作用，减轻存储设备的压力

3. 提供了数据流的路线

4. 事物基于channel，保证了数据的可靠性

5. 高效收集日志

6. 支持水平拓展支持多级跳跃。

微信小程序

小程序是一种新的开放能力，开发者可以快速地开发一个小程序。小程序可以在微信内被便捷地获取和传播，同时具有出色的使用体验。