flume搜集日志:如何解决实时不断追加的日志文件及不断增加的文件个数问题

Posted About云

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了flume搜集日志:如何解决实时不断追加的日志文件及不断增加的文件个数问题相关的知识,希望对你有一定的参考价值。

本文的背景:
在搜集日志的过程中,日志文件的个数及日志文件需要不断的追加。flume1.6中,可以使用tail -f可以解决不断追加的文件,但是由于日志文件的个数是变化的,不可能只产生一个文件。所以tail -f就已经不能解决这个搜集日志的问题。

需求:
需要能够监控不断增加的文件,并且单个文件也是不断追加的

[Bash shell] 纯文本查看 复制代码

?

1

以上是关于flume搜集日志:如何解决实时不断追加的日志文件及不断增加的文件个数问题的主要内容,如果未能解决你的问题,请参考以下文章

flume 监控hive日志文件

大数据 - Flume

使用Flume+Kafka+SparkStreaming进行实时日志分析

实时监听hive日志文件,并将内容打印到控制台上

阿里大数据工程师教你怎样理解Flume

Flume 实时收集日志

(c)2006-2024 SYSTEM All Rights Reserved IT常识