Flume

Posted 2021-03-02 chenshaowei

Flume概述

Flume是一个高可用、高可靠、分布式的海量日志数据采集、聚合、传输的系统。Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接收方的能力。

Flume（Agent，Java进程）主要由三个重要组件构成：

• source，负责接收数据到flume agent的组件，数据输入常见类型avro,netcat
• channel，缓冲区，自带两种channel，memory channel速度快，会丢失数据，file channel速度慢，不会丢失数据
• sink，将channel数据取出到数据库，常见数据库hdfs,kafka,mysql

Flume的架构

除了上面三个组件还有以下几个核心概念：

• Event：一个数据单元，分为Header和Body，消息头结构为kv，Body为字节数组
• Agent：是一个JVM进程，将数据从源头传入目的，是Flume数据传输的基本单元，包含组件Source、Channel、Sink

Flume本地安装

• 解压安装包
• 更改配置文件flume-env.sh，添加JAVA_HOME变量

监控端口数据案例

使用Flume监控本机44444端口，通过telnet工具向端口44444发送数据，Flume将监听的数据实时显示在控制台。

1. 通过telnet工具向端口44444发送数据
telnet localhost 44444

2. 启动flume监听端口44444
bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-telnet-logger.conf -Dflume.root.logger==INFO,console

3. 即可在控制台查看端口44444的数据

配置文件如下:

# Name the components on this agent
a1.sources = r1        //r1表示输入源
a1.sinks = k1          //k1表示输出源
a1.channels = c1       //c1表示缓冲区

# Describe/configure the source
a1.sources.r1.type = netcat         //输入类型
a1.sources.r1.bind = localhost      //输入源，本机
a1.sources.r1.port = 44444          //端口44444

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1