如何在没有源的情况下使用Kafka频道配置Flume？

Posted 2021-04-26

如果配置中未指定源，则会抱怨。根据文件：

Kafka频道可用于多种场景：

1. 使用Flume源和接收器 - 它为事件提供了可靠且高度可用的通道
2. 使用Flume源和拦截器但没有接收器 - 它允许将Flume事件写入Kafka主题，供其他应用程序使用
3. 使用Flume接收器，但没有源 - 它是一种低延迟，容错的方式将事件从Kafka发送到Flume接收器，如HDFS，HBase或Solr

https://flume.apache.org/FlumeUserGuide.html

我对方案3很感兴趣，但官方水槽文档中没有这个例子。

问候

答案

在较新版本的CDH（在我的例子中为5.14）的flume配置中可以省略flume agent source。只发出警告。