Flume实现扇出流动

Posted 2022-10-13 jumpkin1122

flume扇出流动的过程

 

 

实现过程

首先准备三台机器：hadoop01,hadoop02,hadoop03 (我在三台机器上已配置好hosts)

 

 

 

然后每台机器上配置Agent

配置hadoop01

 

 

 

配置hadoop02和hadoop03一样

 

 

 

配置完了后，首先启动hadoop02和hadoop03上的Agent

flume-ng agent -n a1 -c /usr/flume/conf -f ./fan-out.conf -Dflume.root.logger=INFO,console

我已经配置好了flume的环境变量，所以直接调用flume-ng命令,如下参数说明

-n         agent名称

-c         flume配置文件的的路径

-f          我们创建的fan-out.conf（配置Agent）文件的路径

两台机器执行命令后控制台都回看到如下信息

 

 

 

 

然后在hadoop01机器上也启动flume

flume-ng agent -n a1 -c /usr/flume/conf -f ./fan-out.conf -Dflume.root.logger=INFO,console

成功连接会显示如下信息

 

 

 

 都启动成功了，可以打开另一个hadoop01客户端执行：nc hadoop01 44444 可以发送事件

 

 

打开hadoop02和hadoop03可以看到已经收到事件