mysql同步数据到redis-增量同步

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了mysql同步数据到redis-增量同步相关的知识,希望对你有一定的参考价值。

参考技术A 使用阿里开源的 canal 作为数据同步工具。

总的来说有两种方案

本文把两种方式都实现下。如果公司有统一的平台接入binlog的话,canal+mq应该是比较好的解耦的方式。

pom依赖

CanalClientmysql2Redis

RocketmqMysql2Redis

官方文档有给出顺序性的说明 https://github.com/alibaba/canal/wiki/Canal-Kafka-RocketMQ-QuickStart

在上面的配置中,我使用的是canal.mq.partition=0,是单分区(rocketmq中应该叫consume queue), 看下控制台可以看到全是发送到queue=0的消费队列

以上是关于mysql同步数据到redis-增量同步的主要内容,如果未能解决你的问题,请参考以下文章

将 RDBMS 同步到 Redis

logstash增量同步mysql数据到es

mysql sqlserver数据库,实时同步,增量同步(脚本模式)

实现mysql与ES的增量数据同步

Redis高可用架构之主从同步

Flink 实战系列Flink CDC 实时同步 Mysql 全量加增量数据到 Hudi