我们如何从带有 debezium kafka 连接器的副本集中的辅助 mongodb 节点跟踪 oplog?
Posted
技术标签:
【中文标题】我们如何从带有 debezium kafka 连接器的副本集中的辅助 mongodb 节点跟踪 oplog?【英文标题】:How could we tail oplog from a secondary mongodb node in a replica set with debezium kafka connector? 【发布时间】:2017-04-28 00:46:57 【问题描述】:我们希望对副本集辅助节点而不是主节点使用 debezium mongodb kafka 源连接器(至少在开始时,以确保我们不会以任何方式影响主流功能)。
Debezium mongodb 教程说“连接器总是使用副本集的主节点来尾随 oplog”。但是,通过将auto.discovery
设置为 false 并在连接器配置中指定辅助节点,可以使连接器从辅助节点拖尾 oplog 就好了。
所以第一个问题——我们对它是否正确(并不是 debezium 连接器“在引擎盖下”以某种方式找到了通往主节点的方法)?
如果确实,oplog
是从辅助节点拖尾的(正如我们希望的那样),如果原来的辅助节点出现故障,是否有办法自动切换到另一个辅助节点?
谢谢。
【问题讨论】:
【参考方案1】:MongoDB 连接器当前将始终连接到副本集的主节点。您能否在our JIRA tracker 中打开一个功能请求,以便选择性地从辅助节点读取?当然,也欢迎任何有关实施它的帮助。
【讨论】:
以上是关于我们如何从带有 debezium kafka 连接器的副本集中的辅助 mongodb 节点跟踪 oplog?的主要内容,如果未能解决你的问题,请参考以下文章
如何使用Debezium从MS SQL中将250张表导入Kafka
是否可以为一个带有使用 debezium 和 kafka 的表的数据库创建一个 Elasticsearch 索引?
如何设置 Kafka 连接器以在 Debezium 中使用自定义转换?