flume配置文件

Posted zxf330301

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了flume配置文件相关的知识,希望对你有一定的参考价值。

 

读文件log传入kafka中

agent.sources = s1
agent.channels = c1
agent.sinks = k1

agent.sources.s1.type=exec
agent.sources.s1.command=tail -F /tmp/logs/kafka.log
agent.sources.s1.channels=c1
agent.channels.c1.type=memory
agent.channels.c1.capacity=10000
agent.channels.c1.transactionCapacity=100

#设置Kafka接收器
agent.sinks.k1.type= org.apache.flume.sink.kafka.KafkaSink
#设置Kafka的broker地址和端口号
agent.sinks.k1.brokerList=master:9092
#设置Kafka的Topic
agent.sinks.k1.topic=kafkatest
#设置序列化方式
agent.sinks.k1.serializer.class=kafka.serializer.StringEncoder
agent.sinks.k1.channel=c1

 




















以上是关于flume配置文件的主要内容,如果未能解决你的问题,请参考以下文章

Flume配置文件总结

Flume-ng禁用自动加载配置文件功能

3.flume安装以及环境配置

flume读取日志文件并存储到HDFS

编写 Flume 配置以将不断增长的文件上传到 HDFS

flume配置文件