Linux安装配置Flume

Posted 2021-05-07 勿忘初心，进无止境.

概述 

Apache Flume是一个分布式，可靠且可用的系统，用于高效地收集，汇总和将来自多个不同源的大量日志数据移动到集中式数据存储。
Apache Flume的使用不仅限于日志数据聚合。由于数据源是可定制的，因此Flume可用于传输大量事件数据，包括但不限于网络流量数据，社交媒体生成的数据，电子邮件消息以及几乎任何可能的数据源。

Apache Flume是Apache Software Foundation的顶级项目，目前有两个发布代码行，版本0.9.x和1.x.

 

 

 

 

系统要求

1.Java运行时环境 - 一定要匹配（譬如flume1.8.0，使用jdk 1.8或更高版本）

2.内存 - 源，通道或接收器使用的配置具有足够的内存

3.磁盘空间 - 通道或接收器使用的配置有足够的磁盘空间

4.目录权限 - 代理使用的目录的读/写权限

 

安装配置

单节点Flume部署。该配置允许用户生成事件并随后将其记录到控制台。

1.官网下载自己想要的flume版本，上传至linux并解压到自己想要安装的路径下

2.配置环境变量：vim /etc/profile

 

3.立即生效 source /etc/profile

 

 

找到自己的安装路径：

例如/opt/apache-flume-1.8.0-bin/conf，在此路径下vim example.conf，再copy以下配置

#example.conf：单节点Flume配置

#命名此代理上的组件
a1.sources=r1
a1.sinks=k1
a1.channels=c1

#描述/配置源
a1.sources.r1.type=netcat
a1。 sources.r1.bind=localhost
a1.sources.r1.port=44444

#描述sink
a1.sinks.k1.type=logger

#使用缓冲内存中事件的通道
a1.channels.c1.type=memory
a1.channels .c1.capacity=1000
a1.channels.c1.transactionCapacity=100

#将信源和信宿绑定到信道
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

该配置定义了一个名为a1的代理。a1有一个侦听端口44444上的数据的源，一个缓存内存中事件数据的通道，以及一个将事件数据记录到控制台的接收器。配置文件命名各种组件，然后描述它们的类型和配置参数。给定的配置文件可能会定义多个命名代理; 当给定的Flume进程启动时，会传递一个标志，告诉它哪个指定的代理要显示。

 

启动flume，在目录/opt/ apache-flume-1.6.0-bin/bin下，运行flume

flume-ng agent -n a1 -f /conf/example.conf -Dflume.root.logger=INFO,console

 

 

 
参数说明：
-n 指定agent名称
-c 指定配置文件目录
-f 指定配置文件
-Dflume.root.logger=DEBUG,console 设置日志等级

 

 

 

打开另一个连接终端，远程到44444端口，然后发送flume事件进行测试

telnet localhost 44444