生产环境实践:Cana实现MySQL到ES实时同步

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了生产环境实践:Cana实现MySQL到ES实时同步相关的知识,希望对你有一定的参考价值。

技术图片
注:Canal必备基础及安装部署,详看完整文档,以下直接摘取干货分享。

实现mysql-->Canal-Server(Instance)--->ClientAdapter--->ES同步流程

所涉及组件的关系(如下)
技术图片

相关组件的作用

技术图片

准备业务库表

在MySQL中创建test库及test表作为业务库表,我们最终就是要同步test.test表的数据到ES:
技术图片
执行如下MySQL命令:
技术图片

配置Instance

前面安装了Canal_Server,接下来需要给Canal_Server创建Instance来拉取MySQL的binlog。
1、登录Canal_Admin
技术图片
2、进入Instance管理页
技术图片
3、新建Instance
点击新建Instance就会进入新建Instance配置页面:
技术图片
4、载入Instance模板
Instance配置不需要从零开始写,先载入模板即可,如下图:
技术图片
5、配置Instance
技术图片
6、Instance命名
技术图片
7、保存Instance
技术图片
保存之后,就自动显示在Instance列表页了:
技术图片
8、自动启动Instance
刷新Instance列表页,过一会就已经变成启动状态了:
技术图片
至此,MySQL的binlog数据就可以被Canal-Server拉取到了。

以上是关于生产环境实践:Cana实现MySQL到ES实时同步的主要内容,如果未能解决你的问题,请参考以下文章

MySQL到Elasticsearch实时同步构建数据检索服务的选型与思考

美团MySQL实时同步到数据仓库架构与实践

mysql同步数据到es

干货 | Debezium实现Mysql到Elasticsearch高效实时同步

canal实时同步mysql数据到elasticsearch(部署,配置,测试)

[es同步到数据库数据]同步mysql数据到ElasticSearch的最佳实践