Flume系列二之案例实战

Posted 2021-04-30 啊 是留歌呀

写在前面
    通过前面一篇文章http://blog.csdn.net/liuge36/article/details/78589505的介绍我们已经知道flume到底是什么？flume可以用来做什么？但是，具体怎么做，这就是我们这篇文章想要介绍的。话不多说，直接来案例学习。

实战一：实现官网的第一个简单的小案例-从指定端口采集数据输出到控制台

从官网的介绍中，我们知道需要new一个.conf文件，
1.这里我们就在flume的conf文件夹下新建一个test1.conf

2.把官网的A simple example拷贝进去，做简单的修改

[hadoop@hadoop000 conf]$ vim test1.conf 
# Name the components on this agent
 a1.sources = r1
 a1.sinks = k1
 a1.channels = c1
#
# # Describe/configure the source
 a1.sources.r1.type = netcat
 a1.sources.r1.bind = hadoop000
 a1.sources.r1.port = 44444

# # Describe the sink
 a1.sinks.k1.type = logger

# # Use a channel which buffers events in memory
 a1.channels.c1.type = memory

# # Bind the source and sink to the channel
 a1.sources.r1.channels = c1
 a1.sinks.k1.channel = c1

#不修改也是应该没有什么问题的
#:wq保存退出

3.flume的agent启起来之后，就可以开始测试啦：

[hadoop@hadoop000 data]$ telnet hadoop000 44444
Trying 192.168.1.57...
Connected to hadoop000.
Escape character is '^]'.
你好         
OK

这里会发现，刚刚启动的agent界面有输出

到这里，就实现第一个简单的flume案例,很简单是吧

可以看出，使用Flume的关键就是写配置文件
1）    配置Source
2）    配置Channel
3）    配置Sink
4)     把以上三个组件串起来

简单来说，使用flume，就是使用flume的配置文件

实战二：监控一个文件实时采集新增的数据输出到控制台

思路？？
前面说到，做flume就是写配置文件
就面临选型的问题
Agent选型，即source选择什么，channel选择什么，sink选择什么

这里我们选择 exec source   memory channel  logger sink

怎么写呢？
按照之前说的那样1234步骤

从官网中，我们可以找到我们的选型应该如何书写：
1）    配置Source
exec source

Property Name    Default Description
channels    –    
type    –   The component type name, needs to be exec
command    –   The command to execute
shell    –   A shell invocation used to run the command. e.g. /bin/sh -c. Required only for commands relying on shell features like wildcards, back ticks, pipes etc.

从官网的介绍中，我们知道我们的exec source得配置type=exec
,配置自己的command，shell也是建议配置上的，其余的配置就不用配置了。是不是很简单。我们这里自己的配置就如下：

# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /home/hadoop/data/data.log
a1.sources.r1.shell = /bin/sh -c

2）    配置Channel
memory channel  
官网介绍的是：

Property Name    Default Description
type    –   The component type name, needs to be memory

对应着写自己的Channel:

a1.channels.c1.type = memory

3）    配置Sink
logger sink
官网介绍的是：

Property Name    Default Description
channel    –    
type    –   The component type name, needs to be logger

对应着写自己的Sink:

a1.sinks.k1.type = logger

4)     把以上三个组件串起来

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

按照1.2.3.4这个固定的套路写任何的agent都是没有问题的

1.我们new一个文件叫做test2.conf
把我们自己的代码贴进去：

[hadoop@hadoop000 conf]$ vim test2.conf
a1.sources = r1
a1.sinks = k1
a1.channels = c1

a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /home/hadoop/data/data.log
a1.sources.r1.shell = /bin/sh -c

a1.sinks.k1.type = logger

a1.channels.c1.type = memory

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1 

#:wq保存退出

2.开启我们的agent

flume-ng agent \
--name a1  \
--conf $FLUME_HOME/conf  \
--conf-file $FLUME_HOME/conf/test2.conf \
-Dflume.root.logger=INFO,console

3.开始测试数据

export 到这里，我相信你一定学会如何去写flume了。强调一下，官网是一个好的学习资源，一定不要浪费。这里，我就先简单介绍这么两个小的案例实战，后面还会继续更新更多flume的使用…一起加油