在 Talend 中将所有 MYSQL 组件转换为 Greenplum 组件

Posted

技术标签:

【中文标题】在 Talend 中将所有 MYSQL 组件转换为 Greenplum 组件【英文标题】:Convert all MYSQL Components to Greenplum Components in Talend 【发布时间】:2021-09-14 15:03:47 【问题描述】:

我的公司正在从 mysql 迁移到 Greenplum 数据库。

我们有许多工作通过 Talend 运行,我必须手动将每个组件从 MYSQL 更改为 Talend。

他们是否是一种更简单的方法,通过它可以直接转换所有组件,而不必单独转换每个组件?

【问题讨论】:

是的,您必须手动完成。我猜没有其他方法 您可以尝试手动修改项目文件。如果您可以将它们导入回来,那么您就成功了一半。风险自负。正常的数据库组件应该可以工作,但是查询等仍然需要修改,元数据连接可能会中断,等等。 【参考方案1】:

对于 talend studio,我不确定是否有自动转换组件的方法,但您可以将凭据存储在 repo 中,以便相当容易地重新配置组件并使其成为一个相当简单的过程,您甚至可以创建通用任何 db 组件都可以使用的模式。

https://help.talend.com/r/en-US/7.3/repository-manager-user-guide/how-to-add-repository-connection

https://help.talend.com/r/en-US/7.3/studio-user-guide-data-fabric/setting-up-generic-schema-from-scratch

此外,这里还有一些额外的价值,在 talend 学院https://academy.talend.com/learn/register 上提供一些免费培训,您只需注册一个帐户即可。

【讨论】:

【参考方案2】:

理论上,可以创建一个类似于现有任务的迁移任务: https://github.com/Talend/tdi-studio-se/tree/maintenance/7.3/main/plugins/org.talend.repository/

有许多现有的可以从中获取想法: https://github.com/Talend/tdi-studio-se/blob/maintenance/7.3/main/plugins/org.talend.repository/src/main/java/org/talend/repository/model/migration/RenametDBInputToPostgresqlMigrationTask.java

我自己从未尝试过,但我认为这应该是最灵活的方法。使用系统属性来启用/禁用它。您需要编译 org.talend.repository 插件,然后替换您工作室中的插件。

不要忘记删除 configuration/org.eclipse.osgi 文件夹,因为它缓存了插件,您的更改不会被拾取!

如果你卡住了,你也可以试试https://community.talend.com/

【讨论】:

以上是关于在 Talend 中将所有 MYSQL 组件转换为 Greenplum 组件的主要内容,如果未能解决你的问题,请参考以下文章

Talend Data Integration 中的选角日期

Talend 从字符串转换为 bigdecimal

MySQL:在视图中将小数转换为百分比

使用Talend中的tHiveRow组件运行多个配置单元查询

在 MySql 中将 VARCHAR 转换为 DECIMAL 值

无法在 MySQL 查询中将字符串转换为日期时间