flume配置参数的意义
Posted alexzhang92
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了flume配置参数的意义相关的知识,希望对你有一定的参考价值。
1.监控端口数据:
flume启动:
[[email protected] flume]$ bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-telnet-logger.conf -Dflume.root.logger=INFO,console
参数说明:
--conf conf/ :表示配置文件存储在conf/目录
--name a1 :表示给agent起名为a1
--conf-file job/flume-telnet.conf :flume本次启动读取的配置文件是在job文件夹下的flume-telnet.conf文件。
-Dflume.root.logger==INFO,console :-D表示flume运行时动态修改flume.root.logger参数属性值,并将控制台日志打印级别设置为INFO级别。日志级别包括:log、info、warn、error。
2.实时读取本地文件导HDFS:
执行监控配置
[[email protected] flume]$ bin/flume-ng agent --conf conf/ --name a2 --conf-file job/flume-file-hdfs.conf
开启Hadoop和Hive并操作Hive产生日志
[[email protected] hadoop-2.7.2]$ sbin/start-dfs.sh [[email protected] hadoop-2.7.2]$ sbin/start-yarn.sh [[email protected] hive]$ bin/hive hive (default)>
3.实时读取本地目录文件导HDFS:
启动监控文件夹命令
[[email protected] flume]$ bin/flume-ng agent --conf conf/ --name a3 --conf-file job/flume-dir-hdfs.conf
说明: 在使用Spooling Directory Source时
1) 不要在监控目录中创建并持续修改文件
2) 上传完成的文件会以.COMPLETED结尾
3) 被监控文件夹每500毫秒扫描一次文件变动
3. 向upload文件夹中添加文件
在/opt/module/flume目录下创建upload文件夹
[[email protected] flume]$ mkdir upload
向upload文件夹中添加文件
[[email protected] upload]$ touch atguigu.txt
[[email protected] upload]$ touch atguigu.tmp
[[email protected] upload]$ touch atguigu.log
以上是关于flume配置参数的意义的主要内容,如果未能解决你的问题,请参考以下文章