爱可⽣开源MySQL数据传输中间件—DTLE

Posted 2021-04-10 爱可生云数据库

2018年10⽉24⽇，企业级数据处理技术整体解决方案提供商上海爱可⽣信息技术股份有限公司正式开源其 MySQL 数据传输中间件DTLE。

DTLE:

http://dtle.cloud

https://github.com/actiontech/dtle

https://actiontech.github.io/dtle-docs-cn/

目前，随着mysql在各个行业的深入使用，在不同数据系统、不同数据中心、不同业务系统之间进行数据传输、数据订阅、形成数据总线等需求逐渐增多。爱可生推出的DTLE是一个针对MySQL的使用特点、支持多种使用场景的数据传输中间件。

DTLE是什么？

DTLE是一个开源的数据传输中间件，其针对的核心场景如下: 

• 跨数据中心的数据传输：DTLE能在数据中心间进行可靠数据传输，并提供链路压缩以降低传输成本

• 云间数据同步/迁移：DTLE能提供在公有云间架设数据同步通道，以支持数据容灾等需求

• 数据汇聚：DTLE能将多个数据源汇聚到同一个数据源，以提供数据分析/数据转储的功能

• 数据订阅：DTLE能将数据源的变更消息发往Kafka等消息中间件，以支持数据订阅通知/缓存失效通知等需求

• 跨数据中心的双向复制：DTLE能在数据中心间提供双向复制通道，以配合业务实现数据双写

为什么要开源？

随着MySQL在各行业的使用场景逐渐成熟，以数据传输为基础的需求逐渐增多。若要设计一款良好的数据传输中间件，要解决的核心问题是：如何保障质量、适配复杂场景、提供多样功能。

在2017年10月24日，爱可生开源了MySQL分布式中间件—DBLE。时隔一年，DBLE与社区互动良好，从社区吸纳了许多设计经验和质量反馈，已成为一款成熟的数据库中间件。随着社区用户增多，已实现了与社区用户的双赢。

爱可生此次开源DTLE，是真诚为社区提供MySQL生态圈里一个可持续发展的工具，并希望与社区再次达成双赢，解决数据传输中间件的核心问题。

DTLE的设计特点

• 分布式架构：DTLE在数据传输这个基本场景上，使用了成熟的分布式任务调度架构，可以便捷地在集群中配置大量的数据传输任务，提供断点续传/故障转移等分布式系统的重要特性

• 灵活的网络适配能力：DTLE可适配复杂的网络架构，提供跨数据中心的数据通道功能和公有云间的数据通道功能

• 多场景适配：DTLE通过组合多个原子任务，可适配复杂的数据传输场景

关于开源 MySQL 数据传输中间件DTLE更多技术细节我们后期会持续输出，版本更新维护及使用问题反馈，欢迎加入DTLE（Q群：852990221）。

爱可生（证券代码：832768）依托于融合、开放、创新的数据处理技术和服务能力，为大型行业用户的特定场景提供深度挖掘数据价值的解决方案。公司持续积累的核心关键技术，覆盖到分布式数据库集群、云数据库平台、数据库大体量运管平台、海量数据集成与存储、清洗与治理、人工智能分析挖掘、可视化展现、安全与隐私保护等多个领域。

公司已与多个行业内的专业公司建立了长期伙伴关系，不断促进新技术与行业知识相结合，为用户寻求新的数据驱动的价值增长点。公司已在金融、能源电力、电信、广电、政府等行业取得了多个大型用户典型成功案例，获得了市场的广泛认可和业务持续的增长。