flume遇到的问题

Posted drjava

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了flume遇到的问题相关的知识,希望对你有一定的参考价值。

Caused by: java.lang.IllegalStateException: Unable to add FlumeEventPointer [fileID=25, offset=1000217047]. Queue depth = 100000, Capacity = 100000

 

原因:checkpoint文件夹,不为空。

解决:设置空的checkpoint文件夹。或删除checkpoint文件夹下的内容。

 

java.lang.OutOfMemoryError: Java heap space

原因:java堆内存默认20m,数据量大时oom。

解决:

export JAVA_OPTS="-Xms2048m -Xmx2048m -Xss256k -Xmn1g -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:-UseGCOverheadLimit"

并且在flume启动脚本flume-ng中,修改JAVA_OPTS="-Xmx20m"为JAVA_OPTS="-Xmx2048m"
cdh可以直接在cdh manager中设置flume的java堆内存。

 

以上是关于flume遇到的问题的主要内容,如果未能解决你的问题,请参考以下文章

原 kafka接flume遇到的问题

flume遇到的问题

改进和优化美团Flume日志收集

flume应该思考的问题

flume+elasticsearch+kibana遇到的坑

Wagtail - 在页面上呈现带有相关片段和标签的数据时遇到问题