数据同步 Tapdata cloud 使用分享

Posted 2021-08-27 JOKI丶

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了数据同步 Tapdata cloud 使用分享相关的知识，希望对你有一定的参考价值。

Tapdata Cloud是由Tapdata提供的集数据同步、数据融合（即将上线）、数据服务（即将上线）为一体的实时数据融合服务，能够在跨云、跨地域、多类型数据源的场景下，提供毫秒级的实时数据同步服务和数据融合服务。

Tapdata Cloud包含两部分：

Tapdata cloud manager，TCM是Tapdata Cloud的管理端，负责agent实例的安装，同步任务的配置、分发、任务状态监测。
Tapdata agent，是Tapdata Cloud数据同步服务的执行实例，负责从TCM获取任务信息，通过流式技术从源系统获取数据、处理转换数据并发送到目标系统，并在任务执行过程中监测并上报任务状态至TCM。

Tapdata Cloud的数据同步包括全量同步和实时增量同，实现的过程如下图所示：

全量数据同步：又指数据库迁移/数据库克隆，在数据流任务中，各种库级别数据源之间的数据全量迁移，适用于实例数据迁移、数据上下云迁移、数据库拆分扩容等业务场景。
增量数据同步：在数据流任务中，多个数据源之间通过特定的关联关系或处理的数据实时同步，适用于在不影响用户业务的情况下，满足用户对数据的分析、处理、灾备等方面的场景。
数据源：从外部连接到Tapdata系统的数据来源。当前支持的数据源主要指数据库（Database），后续将逐步增加File、GridFS、RestAPI、Dummy、Custom、UDP、Cache等类型。
源端连接: 是指在数据同步任务中，能够访问源数据对象并能够查询数据的连接配置。
目标端连接：是指在数据同步任务中，能够访问目标数据对象并能够操作数据的连接配置。
Agent：是指运行同步任务的执行程序，负责从管理端获取任务、连接源数据源、执行数据转换、输出到目标数据源。
TCM管理端：Tapdata云端管理控制台，让用户可以自主定义编排同步任务，并下发同步任务给到同步实例。

创建Agent管理，根据部署提示选择自己的系统对于的Agent包

我的系统是linux部署Agent，复制命令并在本地部署环境执行，其包含 Tapdata Agent 的下载、自动部署及启动。
创建数据库连接，根据自己数据库选择

至少创建两个数据源，才可以做数据同步。
创建任务，需要三步
1. 选择源端与目标端连接
2. 任务设置
3. 映射设置
  
  执行同步完成，所需要时间、等等很多数据都可以在运行监控中查看

单向连接：同步实例节点单向连接管控端运行服务。 Tapdata agent实例节点对外不主动暴露网络信息，只会连接 TCM管理端服务，获取任务信息、上报状态信息。
HTTPS 协议：用户部署的Tapdata agent实例节点和 TCM 通信链路采用 HTTPS 协议，防止盗取并篡改信息。
可信环境：自建模式下，所有数据流转均发生在受用户管理的服务器和网络环境，数据不流出泄漏。

创新的实时数据同步技术
创新性地将数据库CDC技术与流式计算技术融合，将数据同步过程中的数据处理过程向用户开放，让数据同步不再是单一的复制，使得用户可以基于数据实现更多创新可能。
零代码可视化拖拽操作
TapData Cloud数据同步任务的编排与设置流程支持拖拽式零代码可视化操作，支持多级多节点同时同步操作，极大的降低了同步任务流定义的复杂度，提升了效率和质量。
完美支持SQL->NOSQL
完美的JSON支持，可通过拖拽的方式轻松实现从关系型数据库到非关系型数据实时同步，同时还支持一对一、多对一、一对多等多种建模方式，轻松帮助用户实现数据库现代化。
全面的数据库支持
全面支持主流的开源数据库及商业数据库以及消息类中间件，包括：MongoDB、mysql、Oracle、SQL Server、DB2、elastic、Kafka、Sybase、PostgreSQL、Redis、GaussDB等。
可视化任务运行监控
通过可视化界面对数据传输任务的运行状态进行监控，用户可以快速掌握各个任务及节点的数据读取统计、数据写入统计、延迟统计等方面进行数据运行监控统计。
充分设计的安全保障
用户数据安全优先的架构设计，用户信息、任务信息全程加密的安全措施，充分保障用户的信息安全和数据安全。

以上是关于数据同步 Tapdata cloud 使用分享的主要内容，如果未能解决你的问题，请参考以下文章