收集 MongoDB 增量数据并推送到 kafka？
Posted
技术标签:
【中文标题】收集 MongoDB 增量数据并推送到 kafka？【英文标题】：Collecting MongoDB delta data and pushing to kafka? 【发布时间】：2017-06-28 16:47:07 【问题描述】：我们有一个 mongodb 数据库，它不断从不同来源获取数据，我想继续将这些数据作为生产者实时推送到 kafka，以便我可以为我的分析集成 spark kafka。让我知道是否有人对此做过任何事情，或者是否有任何可能的解决方案。 Flume 不支持 mongodb 作为源，sqoop 用于 RDBMS。
【问题讨论】：
【参考方案1】：您可以为此使用 Kafka Connect： https://www.confluent.io/product/connectors/
如上所述，至少有 2 个可用的 mongodb 源连接器：
https://github.com/DataReply/kafka-connect-mongodb
https://github.com/teambition/kafka-connect-mongo
【讨论】：
以上是关于收集 MongoDB 增量数据并推送到 kafka？的主要内容，如果未能解决你的问题，请参考以下文章
python 生成随机数据并推送到elasticsearch