flume配置参数的意义

Posted alexzhang92

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了flume配置参数的意义相关的知识,希望对你有一定的参考价值。

1.监控端口数据:

技术图片

flume启动:

[[email protected] flume]$ bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-telnet-logger.conf -Dflume.root.logger=INFO,console

参数说明:

--conf conf/  :表示配置文件存储在conf/目录

--name a1 :表示给agent起名为a1

--conf-file job/flume-telnet.conf :flume本次启动读取的配置文件是在job文件夹下的flume-telnet.conf文件。

-Dflume.root.logger==INFO,console :-D表示flume运行时动态修改flume.root.logger参数属性值,并将控制台日志打印级别设置为INFO级别。日志级别包括:log、info、warn、error。

2.实时读取本地文件导HDFS:

技术图片

执行监控配置

[[email protected] flume]$ bin/flume-ng agent --conf conf/ --name a2 --conf-file job/flume-file-hdfs.conf

 

开启HadoopHive操作Hive产生日志

[[email protected] hadoop-2.7.2]$ sbin/start-dfs.sh

[[email protected] hadoop-2.7.2]$ sbin/start-yarn.sh

[[email protected] hive]$ bin/hive
hive (default)>

 

 

3.实时读取本地目录文件导HDFS:

技术图片

启动监控文件夹命令

[[email protected] flume]$ bin/flume-ng agent --conf conf/ --name a3 --conf-file job/flume-dir-hdfs.conf

 

说明: 在使用Spooling Directory Source

1) 不要在监控目录中创建并持续修改文件

2) 上传完成的文件会以.COMPLETED结尾

3) 被监控文件夹每500毫秒扫描一次文件变动

3. upload文件夹中添加文件

在/opt/module/flume目录下创建upload文件

[[email protected] flume]$ mkdir upload

向upload文件夹中添加文件

[[email protected] upload]$ touch atguigu.txt

[[email protected] upload]$ touch atguigu.tmp

[[email protected] upload]$ touch atguigu.log

 

以上是关于flume配置参数的意义的主要内容,如果未能解决你的问题,请参考以下文章

Flume配置参数详解

Flume 参数调优

Flume之 各种 Channel 的介绍及参数解析

Flume配置案例

Flume NG 学习笔记Source配置

关于flume配置加载