需求：公司需要做数据迁移同步，以下是几种常见的ETL工具选型对比

Posted 2023-03-29 晴天M雨天

公司需要做数据迁移同步mysql 到clickhouse
以下是一些常见的ETL工具的优势和劣势对比：Apache Nifi、Talend、Pentaho、Informatica、Datax

Apache Nifi
优势：

提供可视化的用户界面，易于使用和配置。
具有高度的可扩展性和灵活性。
支持多种数据源和数据目标，以及数据流的自动监测和管理。
可以与其他 Apache 生态系统工具集成。
劣势：

需要对 Apache 生态系统和相关技术有一定的了解才能充分利用其功能。
没有商业支持，可能需要依赖社区支持和文档。
Talend
优势：

提供可视化的用户界面，易于使用和配置。
具有广泛的数据源和数据目标支持。
提供多种数据转换和数据质量功能。
提供商业支持和培训。
劣势：

部分高级功能需要购买付费版。
有一定的学习曲线。
Microsoft SQL Server Integration Services (SSIS)
优势：

可以无缝集成 Microsoft SQL Server 数据库和其他 Microsoft 产品。
提供多种数据转换和数据质量功能。
可以自定义脚本和扩展功能。
劣势：

只支持 Microsoft 平台。
可能需要购买 Microsoft SQL Server 许可证。
Pentaho
优势：

开源的，免费使用。
提供可视化的用户界面，易于使用和配置。
具有广泛的数据源和数据目标支持。
提供多种数据转换和数据质量功能。
劣势：

有一定的学习曲线。
社区支持可能不够完善。

Oracle数据库迁移的几种方式

面试:

一、exp/imp逻辑备份与恢复：

二、Storage存储迁移：

将数据文件、控制文件、日志文件、spfile挂到新机器上，然后在新机器上启动数据库。

三、利用data guard迁移：

四、用rman做迁移：

 

我们常常需要对数据进行迁移，迁移到更性能配置更高级的主机OS上、迁移到远程的机房、迁移到不同的平台下，以下介绍ORACLE的几种数据库迁移方案：

 

　　一、exp/imp逻辑备份与恢复：
 
　　它是最常用最简单的方法，一般是基于应用的owner级做导出导入。
 
　　操作方法为：

  在新库建立好owner和表空间，停老库的应用，在老库执行：

$ exp user/pwd owner=XXX file=exp_xxx.dmp log=exp_xxx.log buffer=6000000,

  导入dmp文件到新库，在新库执行如下命令：

$ imp user/pwd fromuser=XXX touser=XXX file=exp_xxx.dmp log=imp_xxx.log ignore=y.
 
　　优缺点：优点是可以跨平台使用;缺点是停机时间长，停机时间为从exp到网络传输到新库，再加上imp的时间。
 
　　二、Storage存储迁移：
 
　　这种情况下，数据文件、控制文件、日志文件、spfile都在存储上(一般情况下是裸设备)，我们可以直接把存储挂到新机器上，然后在新机器上启动数据库。
 
　　操作方法：将老库的pfile(因为里面有指向裸设备的spfile链接)，tnsnames.ora，listener.ora，密码文件传到新库的对应位置。将存储切至新机，或者用文件拷贝或dd的方式复制数据文件，启动数据库。
 
　　优缺点：优点是该迁移方式非常简单，主要的工作是主机工程师的工作，dba只需配合即可，停机时间为停库、切存储、起库的时间；缺点是要求新老库都是同一平台，是相同的数据库版本。
 
　　三、利用data guard迁移：
 
　　用dg我们不仅可以用来做容灾，物理的dg我们还可以作为迁移的方式。
 
　　操作方法：可见http://www.oracleblog.cn/study-note/dg-created-by-rman/或者
http://www.oracleblog.cn/study-note/create-dg-by-rman-one-datafile-by-one-datafile/或者其他相关网文。注意switch over之后，可以将dg拆掉，去掉log_archive_dest_2、FAL_SERVER、FAL_CLIENT、standby_file_management参数。另外还要注意如果用rman做dg，注意手工添加tempfile。
 
　　优缺点：优点是停机时间短，停机时间为switch over的时间；缺点：主机必须双份、存储必须双份。
 
　　四、用rman做迁移：
 
　　rman比较适合于跨文件系统的迁移，如同平台下的不同文件系统。
 
　　操作方法：
 
　　1.停第三方的归档备份，如legato或dp；
 
　　2.backup数据库；