我们如何从带有 debezium kafka 连接器的副本集中的辅助 mongodb 节点跟踪 oplog?

Posted

技术标签:

【中文标题】我们如何从带有 debezium kafka 连接器的副本集中的辅助 mongodb 节点跟踪 oplog?【英文标题】:How could we tail oplog from a secondary mongodb node in a replica set with debezium kafka connector? 【发布时间】:2017-04-28 00:46:57 【问题描述】:

我们希望对副本集辅助节点而不是主节点使用 debezium mongodb kafka 源连接器(至少在开始时,以确保我们不会以任何方式影响主流功能)。

Debezium mongodb 教程说“连接器总是使用副本集的主节点来尾随 oplog”。但是,通过将auto.discovery 设置为 false 并在连接器配置中指定辅助节点,可以使连接器从辅助节点拖尾 oplog 就好了。

所以第一个问题——我们对它是否正确(并不是 debezium 连接器“在引擎盖下”以某种方式找到了通往主节点的方法)?

如果确实,oplog 是从辅助节点拖尾的(正如我们希望的那样),如果原来的辅助节点出现故障,是否有办法自动切换到另一个辅助节点?

谢谢。

【问题讨论】:

【参考方案1】:

MongoDB 连接器当前将始终连接到副本集的主节点。您能否在our JIRA tracker 中打开一个功能请求,以便选择性地从辅助节点读取?当然,也欢迎任何有关实施它的帮助。

【讨论】:

以上是关于我们如何从带有 debezium kafka 连接器的副本集中的辅助 mongodb 节点跟踪 oplog?的主要内容,如果未能解决你的问题,请参考以下文章

Debezium kafka 连接连接器未成功更新

如何使用Debezium从MS SQL中将250张表导入Kafka

是否可以为一个带有使用 debezium 和 kafka 的表的数据库创建一个 Elasticsearch 索引?

如何设置 Kafka 连接器以在 Debezium 中使用自定义转换?

带有 kafka 的 Debezium 还是只有嵌入式 Debezium?

Debezium 如何使用 Kafka Connect 正确注册 SqlServer 连接器 - 连接被拒绝