flume实战应用解析

Posted 2020-09-29

业务背景:

  将java项目生成的日志文件分门别类的输出给flume

第一步:

 将日志输出到flume中,在java程序中编写log4j,并指定输出到哪个flume服务器中

log4j.rootLogger=INFO,flume
log4j.appender.flume=org.apache.flume.clients.log4jappender.Log4jAppender
log4j.appender.flume.Hostname=192.168.13.132
log4j.appender.flume.Port=41414

第二步:

import java.util.Date;
import org.apache.log4j.Logger;
public class flume {
public static final Logger logger = Logger.getLogger(flume.class);
public static void main(String[] args) throws Exception {
 while(true) {
 logger.info(String.valueOf(new Date().getTime()));
 Thread.sleep(2000);
}
}
}

第三步:

参考

案例15:avro 负载均衡的方式动态获取文件中内容启动132和133,也可以指定优先级,参照案例17:avro 负载均衡加优先级配置

比如将三种不同日志分别生成到不同的服务器上比如 132生成的是access 133生成的是ugcheader 就可以了

log4j.rootLogger=INFO,access ,ugcheader 
log4j.appender.access =org.apache.flume.clients.log4jappender.Log4jAppender
log4j.appender.access .Hostname=192.168.13.132
log4j.appender.access .Port=41414

log4j.rootLogger=INFO,access ,ugcheader 
log4j.appender.ugcheader =org.apache.flume.clients.log4jappender.Log4jAppender
log4j.appender.ugcheader .Hostname=192.168.13.133
log4j.appender.ugcheader .Port=41414