打通实时流处理log4j-flume-kafka-structured-streaming
Posted 大数据技术与架构
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了打通实时流处理log4j-flume-kafka-structured-streaming相关的知识,希望对你有一定的参考价值。
模拟产生log4j日志
jar包依赖 pom.xml
1 |
<dependency> |
java代码 LoggerGenerator.java
1 |
public class LoggerGenerator { |
log4j.properties配置
1 |
log4j.rootLogger=INFO,stdout,flume |
kafka broker启动
提前创建好topic【不是必须的】
flume-ng启动后,启动一个kafka console consulmer观察数据
1 |
$ kafka-server-start.sh $KAFKA_HOME/config/server.properties |
flume-ng配置和启动
前面文章用过的avro-memory-kafka.conf
1 |
# avro-memory-kafka.conf |
启动flume-ng
1 |
$ nohup flume-ng agent --conf conf --conf-file conf/avro-memory-kafka.conf --name avro-memory-kafka > avro-memory-kafka.out 2>&1 & |
spark structured streaming实时流处理
1 |
topic = 'kafka_streaming_topic' |
文章不错?点个【在看】吧! 以上是关于打通实时流处理log4j-flume-kafka-structured-streaming的主要内容,如果未能解决你的问题,请参考以下文章