云小课｜云小课带你快速掌握云数据迁移CDM

Posted 2022-01-13 华为云开发者社区

阅识风云是华为云信息大咖，擅长将复杂信息多元化呈现，其出品的一张图(云图说)、深入浅出的博文(云小课)或短视频(云视厅)总有一款能让您快速上手华为云。更多精彩内容请单击此处。

摘要：欢迎来到云数据迁移CDM的世界，跟着云小课一起学习云数据迁移。本课主要介绍云数据迁移的基本概念、功能、应用场景及使用过程，帮助您更好的了解云数据迁移。

本文分享自华为云社区《【云小课】EI第35课 云小课带你快速掌握云数据迁移CDM》，原文作者：阅识风云

云数据迁移是什么？

云数据迁移（Cloud Data Migration，简称CDM）是一种高效、易用的批量数据迁移服务，提供同构/异构数据源之间批量数据迁移服务，帮助客户实现数据自由流动。支持客户自建和公有云上的文件系统，关系数据库，数据仓库，NoSQL，大数据云服务，对象存储等数据源。

CDM同时也可以作为数据湖治理中心（Data Lake Governance Center，简称DGC）服务的一个组件，在产品能力上和独立形态保持一致，为DGC提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效的提高您数据迁移和集成的效率。

产品功能

• 表/文件迁移：实现在同构、异构数据源之间进行表或文件级别的数据迁移。
• 整库迁移：支持在同构、异构数据源之间进行整库迁移。
• 增量数据迁移：支持文件增量迁移、关系型数据库增量迁移、HBase/CloudTable增量迁移，以及使用Where条件配合时间变量函数实现增量数据迁移。
• 事务模式迁移：支持当CDM作业执行失败时，将数据回滚到作业开始之前的状态，自动清理目的表中的数据。
• 字段转换：支持去隐私、字符串操作、日期操作等常用字段的数据转换功能。
• 文件加密：在迁移文件到文件系统时，CDM支持对写入云端的文件进行加密。
• MD5校验一致性：支持使用MD5校验，检查端到端文件的一致性，并输出校验结果。
• 脏数据归档：支持将迁移过程中处理失败的、被清洗过滤掉的、不符合字段转换或者不符合清洗规则的数据单独归档到脏数据日志中，便于用户查看。并支持设置脏数据比例阈值，来决定任务是否成功。
• 正则表达式分隔半结构化文本：支持在创建表/文件迁移作业时，对简单CSV格式的文件，可以使用字段分隔符进行字段分隔。

应用场景

CDM提供了大数据迁移上云、数据批量入湖两种应用场景。

• 大数据迁移上云场景使用大数据云服务的弹性和按需能力作为线下自建大数据平台的替代或备用，数据量大，全量迁移。

• 数据批量入湖场景支持用户本地数据全量和T+1增量入湖。

CDM的使用过程

CDM使用简单，您只需通过可视化界面对数据源和迁移任务进行配置，CDM会对数据源和任务进行全面的管理和维护，您只需关注数据迁移的具体逻辑，无需关心环境等问题，极大降低了开发维护成本。

Step1 创建CDM集群

一个CDM集群运行在一个弹性云服务器之上，您可以在集群中创建数据迁移作业，在云上和云下的同构/异构数据源之间批量迁移数据。

目前CDM支持以下规格供用户选择：

• large
• xlarge
• cdm.4xlarge

Step2 创建数据源连接

批量数据迁移有两种迁移方式，支持的数据源不相同：

• 表/文件迁移：适用于数据上云、云服务间数据交换、云上数据迁移到本地业务系统。请参见表/文件迁移支持的数据源类型。
• 整库迁移：适用于数据库上云，请参见整库迁移支持的数据源类型。

Step3 创建迁移作业

Substep1：配置源和目的连接器，创建连接

这里以mysql导入到DWS为例，首先我们在源端作业配置中选择模式和表名，然后在目的端作业配置中选择要迁移到哪个表中，这里还可以配置是否自动创建目标表、DWS存储模式等选项。

Substep2：配置字段映射

CDM会自动匹配源端和目的端的数据表字段，这里系统会按照自然顺序列出来，如果需要调整的话，可以调整字段的映射关系。

Substep3：配置任务配置信息，并运行作业

配置任务调度信息，可以配置定时任务，是否写脏数据，任务并发数等参数。

执行结果的这个截图这是一个真实的测试数据，这个MySQL到DWS作业迁移了一亿条记录，数据量大约14GB，使用了5分38秒，每秒迁移接近30万条数据。

还等什么，实践一下，快去体验云数据迁移更多功能吧！

了解更多云数据迁移信息，戳这里。

点击关注，第一时间了解华为云新鲜技术~